לשלם על מודל שפה מלא כדי להחזיר מילה אחת זה הרגל יקר. אם יצא לכם לבנות סוכן תוכנה, נתב פניות שירות או מנגנון אימות תוכן, אתם כנראה מכירים את החשבון: אלפי טוקנים של הקשר נכנסים רק כדי לקבל חזרה JSON קצרצר עם המילה billing או שדה בוליאני פשוט. אתמול הודיעה Vercel על הוספת המודל Decision-1 של מיקרוסופט אל תוך תשתית AI Gateway, במטרה לעצור את ייצור הטקסט המיותר הזה. החשבון בסוף החודש לא מתנפח בגלל החשיבה, אלא בגלל הפטפוט.
בלי טוקנים מיותרים
המנגנון מאחורי Decision-1 מוותר על יצירת מלל חופשי. מדובר במודל לא-גנרטיבי שמתמקד בבדיקת תנאים, חלוקה לקטגוריות והערכת ציונים מספריים. המודל מקבל בלוק של מידע ופולט התפלגות הסתברויות עבור כל אפשרות שהוגדרה מראש. בדוקומנטציה של Vercel מובהר כי הגישה מתבצעת תחת המזהה microsoft/microsoft-decision-1, ומספיק להחזיק מפתח מערכת רגיל של שער ה-API בלי לפתוח חשבון בענן Azure או להגדיר שרתים עצמאיים.
היתרון התפעולי כאן הוא ביטול טוקני הפלט. במקום להמתין לעיבוד רציף של אות אחרי אות תוך תשלום על כל טוקן שנוצר, המערכת מחזירה מבנה נתונים מספרי ישירות לזיכרון של היישום.
מעבר יחיד על עשרות אלפי טוקנים
לפי דיווח בכתב העת The New Stack, המודל אינו פרי פיתוח של OpenAI אלא מבוסס על תהליך אימון המשך של מיקרוסופט על מודל הבסיס Qwen3.5-9B של עליבאבא. הבחירה בארכיטקטורה הזו מעניקה חלון הקשר של עד 32,768 טוקנים. החוזק המרכזי בעיצוב הנוכחי נעוץ ביכולת להציג שאלות מרובות במקביל: אפשר לשאול שאלה בוליאנית, לבחור קטגוריה מתאימה מתוך רשימה סגורה ולדרג את דחיפות הפנייה בסולם מוגדר, וכל זה מבוצע במעבר חישובי בודד על אותו הטקסט.
Decision models return choices, scores, and boolean probabilities instead of free-form text, which makes them a fit for classification, routing, rubric-based assessment, and automated verification.בדוקומנטציה של Vercel
קריאה יחידה מקבלת אובייקט שלם, מסמך או היסטוריית שיחה, ומחזירה ציונים והסתברויות לכל סעיף בנפרד, מה שחוסך קריאות חוזרות ונשנות לאותו המידע.
ההבדל בקוד ובחשבון
השילוב מתאפשר ישירות בתוך קוד שרת באמצעות ממשק TypeScript ייעודי, או דרך מתאם שמתחבר ישירות לספריית הלקוח של OpenAI Decisions API. מפתחים שעובדים עם TypeSafe API יכולים להפנות את כתובת הבסיס אל השער של Vercel בלי לשנות את מבנה הקריאות הקיים בפרויקט.
כל הפעולות נרשמות במערכת המעקב של יומני הבקשות ומנוטרות תחת מגבלות התקציב הרגילות שהוגדרו. במקום לרדוף אחרי מודלים חיצוניים, הניתוב יושב באותו המקום שבו מנוהל שאר התעבורה.
| מאפיין | Decision-1 (מיקרוסופט) | GPT-6-Luna-Decisions | LLM גנרטיבי רגיל |
|---|---|---|---|
| סוג הפלט | הסתברויות, בחירות וציונים | הסתברויות, בחירות וציונים | טקסט חופשי או JSON |
| תמיכה בתמונות | ללא תמיכה (טקסט בלבד) | עד 128 תמונות בבקשה | משתנה לפי מודל |
| הערכת מספר שאלות במעבר אחד | כן | כן | תלוי בהנחיה (Prompt) |
| מודל בסיס | Qwen3.5-9B | GPT-6-Luna | משתנה |
| חיוב על טוקני פלט | ללא עלות על פלט | ללא עלות על פלט | חיוב מלא לפי טוקן |
האותיות הקטנות והמבחן בעברית
יש כאן גם מגבלות שצריך להכיר לפני שרצים לשכתב שירותים פעילים. Decision-1 מוגבל לטקסט בלבד ואינו מקבל תמונות, בניגוד לאפשרויות כמו GPT-6-Luna שמסוגלות לבדוק מסמכים חזותיים. בנוסף, נתוני המהירות והביצועים שפורסמו נשענים על מדידות פנימיות של החברות וטרם קיבלו אימות עצמאי רחב. עבור צוותי פיתוח וסטארטאפים בישראל שמנתבים טקסטים בעברית, לא הייתי ממהר להעביר משימות קריטיות בלי בדיקת כיול זהירה; מודלים שמבוססים על ארכיטקטורת Qwen עלולים לגלות חוסר יציבות בהבנת ניואנסים מקומיים או זיהוי כוונות מורכבות בעברית.
שאלה נוספת שנשארת פתוחה נוגעת לעתיד: אם מיקרוסופט תחליף את מודל הבסיס בתשתית אחרת, לא בטוח שכיול ההסתברויות יישאר זהה למה שהוגדר היום.
איך לבדוק את זה עכשיו
כדי להתחיל, צריך לעדכן את ספריית ai לגרסה 7.0.128 ומעלה, להגדיר את מפתח השער במשתני הסביבה ולקרוא לפונקציית decide על גבי נתב בקשות קיים. תריצו השוואה מקבילה מול הניתוב הקיים שלכם כדי לבדוק אם ההסתברויות אכן תואמות את המציאות. אם אתם זקוקים להסברים מנומקים לתשובה או ליצירת תוכן, הישארו עם המודלים הרגילים. לכל השאר, חבל להמשיך לסבסד מילים שלא תכננתם לקרוא ממילא.
מקורות
- Microsoft Decision-1 now available on AI Gatewayhttps://vercel.com/changelog/microsoft-decision-1-now-available-on-ai-gateway
- Microsoft skipped OpenAI’s decision model and built its own on Alibaba’s Qwenhttps://thenewstack.io/microsoft-decision-model-foundry/
- Decisionhttps://vercel.com/docs/ai-gateway/modalities/decision
- OpenAI-Compatible Decisions API with AI Gatewayhttps://vercel.com/docs/ai-gateway/sdks-and-apis/openai-decisions
- TypeSafe API with AI Gatewayhttps://vercel.com/docs/ai-gateway/sdks-and-apis/typesafe
- AI Gateway Request Logshttps://vercel.com/docs/ai-gateway/observability-and-spend/logs
- AI Gatewayhttps://vercel.com/ai-gateway
- Vercelhttps://weba.co.il/tools/vercel/
- TypeScripthttps://weba.co.il/glossary/typescript/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.