כולנו היינו שם: בניתם פייפליין לניתוב פניות תמיכה, ואתם שולחים פרומפט מפותל באורך עמוד רק כדי לקבל חזרה JSON קטנטן עם שדה בוליאני אחד. אתם משלמים מחיר מלא על טוקני פלט, מחכים שניות ארוכות לקריאת LLM מלאה, ומתפללים שהיא לא תפלוט שום הערה מיותרת שתשבור את ה-parser. החל מ-16 באוקטובר 2026, Vercel מנסה לסגור את הברז המבזבז הזה. החברה הוסיפה אל AI Gateway את מודלי pplx-decider של Perplexity, ופתאום משימות של טריאז' וסיווג נראות הרבה יותר כמו קוד רגיל ופחות כמו שיחה פילוסופית.
מספרים במקום פטפוטים
הרעיון מאחורי מודלי החלטה (Decision Models) פשוט להפליא. במקום להשתמש במודל שיחה רגיל (Chat Completions) שמנסה לחזות את המילה הבאה, מודלי Decider מקבלים פיסת מידע וסט שאלות מוגדרות מראש, ומחזירים ישירות ציוני הסתברות. המודלים האלה לא פולטים טקסט חופשי למשתמש, והם גם לא נתמכים כלל בנקודות קצה של שיחה רגילה. במקום מילים, מקבלים מספרים: הסתברות בין 0 ל-1 לשאלות בוליאניות, התפלגות הסתברויות עבור שאלות בחירה מרובה (Choice), או ציון מספרי ממוצע לפי מדרג קריטריונים (Score).
מודלי החלטה מחזירים בחירות, ציונים והסתברויות בוליאניות במקום טקסט חופשי, מה שהופך אותם למתאימים לסיווג, ניתוב, הערכה לפי רובריקה ואימות אוטומטי.דוקומנטציית Vercel
היתרון המיידי של הגישה הזו מתבטא ישירות בארנק. במודלי שיחה רגילים, כל תו שהמודל מייצר עולה כסף, וטוקני פלט יקרים משמעותית מטוקני קלט. כאן, מכיוון שהמודל אינו מחולל טקסט, התיעוד מציג שימוש של 0 טוקני פלט בקריאה. המודלים מחזירים ציוני הסתברות במקום מילים, וכך טוקני הפלט אינם מחויבים כלל. מודלי ההחלטה מחזירים את המשקל לתשובה הלוגית בלבד.
שאלות רבות במעבר אחד
החיסכון לא נעצר רק באפס טוקנים לפלט. אחד היתרונות הבולטים ביותר לפי ההודעה המקורית הוא היכולת לשאול מספר שאלות החולקות את אותו קלט בבקשה אחת. אפשר להעביר קלט יחיד (state), המכיל טקסט פשוט, אובייקט JSON מובנה או אפילו תמונה בקידוד base64, ולשאול עליו כמה שאלות שונות בבת אחת.
בדוקומנטציה של Vercel מדגימים בדיקת פניית שירות בודדת עם שלוש שאלות במקביל: האם מדובר בבעיית התחברות (בוליאני), האם הלקוח מבקש החזר (בוליאני), ומהי רמת הדחיפות בסולם של שלוש רמות (ציון). כל זה קורה ב-round trip יחיד מול השרת, בלי לפצל לקריאות מרובות ובלי להעמיס שוב ושוב את נתוני הקלט. הגישה מתאפשרת דרך ספריית ה-AI SDK הרשמית מגרסה 7.0.128 ומעלה באמצעות הפונקציה experimental_decide, או דרך נקודת קצה ייעודית של OpenAI-Compatible Decisions API. בנוסף, השירות ב-AI Gateway שומר על תמחור הספק ללא עמלות פלטפורמה, כולל תמיכה ב-BYOK.
ההבדל בין הדגמים
פרפלקסיטי מציעה שני דגמים שונים של המשפחה הזו ב-Gateway. הדגם הגדול, Decider V1.2 בעל 27 מיליארד פרמטרים, מיועד לשיפוט מורכב, פניות ארוכות והערכה מול רובריקות מפורטות. לעומתו, דגם Flash V1.2 הקטן יותר (4 מיליארד פרמטרים) מיועד לתיוג מהיר, סינון וניתוב בנפחי תעבורה גבוהים שבהם הקריטריונים ברורים וחדים.
| מאפיין | Decider V1.2 (27B) | Decider Flash V1.2 (4B) |
|---|---|---|
| מזהה מודל | perplexity/pplx-decider-v1.2 | perplexity/pplx-decider-flash-v1.2 |
| גודל מודל | 27 מיליארד פרמטרים | 4 מיליארד פרמטרים |
| ייעוד עיקרי | שיפוט מורכב והערכה מול רובריקות עמוקות | טריאז' בנפח גבוה, סינון וניתוב מהיר |
| תמיכה במולטימודל (תמונות) | כן (base64 ב-state) | כן (base64 ב-state) |
| חיוב על טוקני פלט | ללא חיוב (0 טוקנים) | ללא חיוב (0 טוקנים) |
זה שווה רק אם יש לכם מספיק נפח שמצדיק את תחזוקת הסכמות.
בצד המקומי שלנו, לא כתוב אם המודלים נבדקו לעומק על עברית. היתרון הוא שאין כאן סכנה של שיבושי עימוד או כיווניות (RTL) בפלט, פשוט כי התשובה מוחזרת כמספרים ולא כמילים. עם זאת, החברות לא פרסמו בדיקות דיוק ייעודיות לעברית, ולכן חובת הבדיקה על הטקסטים שלכם נשארת אצלכם.
רשת ביטחון לחוסר ודאות
החשש הגדול ביותר במעבר למודלי הסתברות קטנים הוא מה עושים כשהמודל לא בטוח בעצמו. כדי לפתור את זה, המערכת כוללת מנגנון מובנה בשם Decision Fallbacks. המנגנון מאפשר להגדיר תנאי שבו אם רמת הביטחון בשאלת בחירה נמוכה מרף מסוים (למשל confidenceBelow: 0.6), או כשהסתברות בוליאנית נופלת בטווח גבולי ולא חד-משמעי, הבקשה כולה מורצת אוטומטית מחדש מול מודל שפה חזק ויקר יותר.
ההרצה החוזרת מתבצעת ברמת השרת של ה-Gateway, והתשובה הסופית נושאת כותרות תגובה ייעודיות כמו x-ai-gateway-decision-fallback-triggered כדי שתדעו בקוד אם המנגנון הופעל. חשוב לשים לב: במקרה כזה תראו חיוב על שני השלבים גם יחד, אבל עבור המקרים הברורים, שילמתם רק על הקריאה הזולה והמהירה. את הכללים הללו מגדירים בקלות תחת providerOptions בתוך קוד TypeScript.
מה שבדוקומנטציה לא מגלים
עם כל ההתלהבות מהחיסכון בטוקנים, צריך להסתכל על הנתונים בעיניים פקוחות. בהודעת ההשקה וגם בדפי התיעוד חסרים מדדי זמני תגובה מפורטים (P95 או TTFT) מקצה לקצה דרך שרתי ה-Gateway. בנוסף, לא פורסמו נתוני כיול מוכחים שמראים מהו שיעור הירידה המדויק בדיוק של דגם ה-Flash (4B) בעת קיבוץ שאלות מרובות במעבר אחד.
מגבלות הקצב (Rate Limits) ומספר הבקשות המקבילות המותרות למודלי Decider ב-Gateway גם הן טרם פורטו במלואן. לכן, אם אתם מנהלים פייפליין קריטי עם אלפי אירועים בדקה, אל תעבירו את כל התנועה בבת אחת. מומלץ להריץ בדיקת A/B שקטה במקביל לקריאות הקיימות שלכם, ורק אחרי שווידאתם שההסתברויות יציבות, לכבות את ה-LLM המפטפט.
בינתיים, הכפתור הישן עוד עובד.
מקורות
- Perplexity's Decider V1.2 models now available on AI Gatewayhttps://vercel.com/changelog/perplexity-decider-v1-2-models-now-available-on-ai-gateway
- Decisionhttps://vercel.com/docs/ai-gateway/modalities/decision
- AI SDK with AI Gatewayhttps://vercel.com/docs/ai-gateway/sdks-and-apis/ai-sdk
- OpenAI-Compatible Decisions API with AI Gatewayhttps://vercel.com/docs/ai-gateway/sdks-and-apis/openai-decisions
- TypeSafe API with AI Gatewayhttps://vercel.com/docs/ai-gateway/sdks-and-apis/typesafe
- AI Gatewayhttps://vercel.com/ai-gateway
- Vercelhttps://weba.co.il/tools/vercel/
- JSONhttps://weba.co.il/glossary/json/
- TypeScripthttps://weba.co.il/glossary/typescript/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.