כל מפתח שבנה סוכן מעל Next.js מכיר את הרגע שבו חשבון הטוקנים מתחיל להיראות כמו טעות בחישוב. שלחתם פרומפט של כמה אלפי טוקנים למודל שיחתי רק כדי לברר אם המשתמש שאל על החזר כספי או על שעות פתיחה, שילמתם על טוקנים של קלט ופלט, וחיכיתם שנייה וחצי עד שהמודל יסיים לפלוט JSON תקף. אתמול, 11 בנובמבר 2026, Vercel הודיעה על שילוב המודל gemini-decision-1 של גוגל ישירות בתוך AI Gateway. הרעיון פשוט: אפס טוקנים של פלט, אפס מילים מנומקות, ורק הכרעות מספריות נטו. סוף סוף אפשר להפסיק להשתמש בתותחים כבדים כדי להרוג זבובים.
זה שינוי תפיסה.
אפס טוקנים של פלט
במקום לעבור דרך מסלול ה-Chat Completions הרגיל, המודל פועל תחת משפחת ה-Decision ומחזיר הסתברויות, בחירה מרובה מוגדרת מראש או ציונים רציפים. גוגל עיצבה את המערכת הזו מראש ללא יצירת טקסט חופשי, מה שמקצר את זמני ההשהיה ומעלים לחלוטין את עלויות הפלט. השימוש זמין דרך ה-SDK, דרך Decisions API או TypeSafe ללא יצירת טוקנים של פלט. לפי ההודעה, המודל מיועד לניתוב בקשות, בדיקת מדיניות, סינון כלי סוכן ודירוג תוצאות.
The multimodal decision model works with text, images, audio, video, and PDF documents, returning Boolean probabilities, choices, and scores. Use it to route requests, check policies, filter agent tools, or rank results without generating output tokens.Vercel
איך זה עובד בקוד
השילוב בקוד שלכם מתבצע באמצעות TypeScript והפונקציה experimental_decide, שנתמכת החל מגרסת ai 7.0.128. מעבירים אובייקט מצב (state) יחיד שמכיל טקסט, תמונה או קובץ PDF, ולצידו רשימה של שאלות. המודל מסוגל לעבד עד 1,000 שאלות שונות במקביל על אותו קלט, בתוך חלון הקשר של עד 262K טוקנים. לפי הדוקומנטציה הרשמית של Vercel, התשובות חוזרות ישירות כערכים בוליאניים, בחירות מסומנות מתוך רשימת criteria או ציונים מנורמלים. החל מגרסת 7.0.133 אפשר להעביר כמצב גם מערך של חלקים מובנים כמו אובייקט json ישיר או טקסט, ללא צורך בהמרה ידנית למחרוזת. במקרה שהמודל מספק תוצאה לא בטוחה, מנגנון Decision Fallbacks מאפשר להגדיר הרצה חוזרת מול מודל אחר.
תמחור ומעקב בתקציב
המספרים כאן חריגים לטובה ביחס למקובל בתעשייה: 0.10 דולר למיליון טוקני קלט, ואפס עגול על טוקני פלט. לפי ההודעה של Vercel, קריאות ההחלטה מופיעות בתוך יומני הבקשות של השער לצד יתר הבקשות, ונספרות ישירות מול מגבלות התקציב השוטפות של הצוות, הפרויקט, מפתח ה-API או המשתמש הבודד. השער בודק כל תקציב שחל על הבקשה עוד לפני שליחתה, וחוסם קריאות נוספות ברגע שאחת המגבלות נחצית. שימו לב שהבדיקה היא בדיקת תקציב רכה בלבד (soft cap), כך שחרגה נקודתית עדיין עשויה לעבור לפני שהשער חוסם בקשות נוספות.
המעקב שקוף לחלוטין.
| מאפיין | מודל שפה רגיל (LLM) | gemini-decision-1 |
|---|---|---|
| טוקנים של פלט | חיוב לפי נפח יצירה | אפס טוקנים |
| עלות קלט (למיליון) | משתנה לפי מודל | 0.10 דולר |
| מבנה התשובה | טקסט חופשי או JSON | הסתברויות, ציונים ובחירה |
| הסבר ונימוק להחלטה | קיים (reasoning / CoT) | ללא נימוק כלל |
הבנצ'מרק של גוגל מול המציאות
גוגל טוענת לחיסכון של פי חמישה בהשוואה למודלים כלליים, אבל בדיקות חיצוניות מציגות תמונה מאוזנת יותר. במבחן העצמאי של Artificial Analysis, הדגם של גוגל דורג במקום התשיעי מתוך 18 מודלי החלטה שנבחנו. הוא מפגין חולשה מסוימת בעיבוד מסמכים מורכבים במיוחד בהשוואה לחלופות ייעודיות אחרות. בנוסף, מנגנון שבירת השוויון של המודל נשען על סדר בתים בקידוד UTF-8. בעוד שמפתחות אפשרויות הבחירה תומכים ב-UTF-8 מלא ומאפשרים עברית, שמות מפתחות השאלות עצמם מוגבלים בתיעוד לתווי ASCII בלבד. בנוסף לכך, שער ה-AI אינו אוכף ברירת מחדל של איסור אימון אצל ספקי צד שלישי, אך צוותים נדרשים להפעיל הגדרה זו מפורשות ברמת הצוות או בכל בקשה. אם המערכת שלכם עובדת מול שמות שדות בעברית, לא הייתי ממהר להסתמך על מיון אוטומטי מבלי לבדוק מראש.
מתי לעבור ומתי להמתין
אם אתם מריצים מערכות תמיכה שממיינות פניות, מסננים כלים לסוכני קוד או בודקים עמידה במדיניות (guardrails), המעבר למודל החדש יחסוך כסף כמעט מיידית. מנגד, אם האפליקציה שלכם דורשת שקיפות, הפקת טקסט, פירוק הנמקות מורכב או עבודה רגישה בשפות RTL, השאירו את הניתוב בידי מודל שיחתי מלא. כדי להתחיל, עדכנו את ספריית ai לגרסה 7.0.128, הגדירו תקציב מוגבל ב-Gateway ובדקו את התוצאות מול מערך הבדיקות שלכם. אם תשאלו אותו למה הוא בחר ככה, הוא פשוט לא יענה.
מקורות
- Gemini Decision 1 now available on AI Gatewayhttps://vercel.com/changelog/gemini-decision-1-now-available-on-ai-gateway
- AI Gateway Request Logshttps://vercel.com/docs/ai-gateway/observability-and-spend/logs
- AI Gateway Budgets and Spend Limitshttps://vercel.com/docs/ai-gateway/observability-and-spend/budgets
- Decisionhttps://vercel.com/docs/ai-gateway/modalities/decision
- Vercelhttps://weba.co.il/tools/vercel/
- TypeScripthttps://weba.co.il/glossary/typescript/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.