לשלם כמה סנטים למודל שפה ענק רק כדי שיחזיר מחרוזת JSON עם סיווג פשוט זה הרגל יקר. רוב הבוטים שנבנים כיום שורפים טוקנים יקרים על משימות ניתוב בסיסיות, אף על פי שאיש לא ביקש מהם לחבר שיר. אתמול הודיעה Vercel על הוספת שני מודלי החלטה ייעודיים של Baseten בשם Mammoth-1 ו־Elephant-1, שזמינים ללא עלות לתקופת ניסיון. אם אתם מנהלים מוצר SaaS ומשלמים על קריאות API מיותרות, המהלך הזה שווה בדיקה מיידית.
סיווג במעבר אחד במקום צ'אט
ההבדל בין מודל שפה גנרטיבי רגיל למודל החלטה (decision model) מתחיל באופן שבו המידע מעובד. במקום לנחש את הטוקן הבא ברצף וליצור טקסט חופשי שדורש ולידציה, מודל החלטה מבצע מעבר יחיד ברשת כדי להחזיר בחירות מוגדרות, ציונים מדויקים והסתברויות מכוילות. בספריית ה־AI SDK, הגישה מתבצעת דרך הפונקציה experimental_decide. מזינים קלט טקסטואלי יחיד, ומקבלים מענה מובנה לכמה שאלות במקביל.
לפי ההודעה של Vercel, פנייה בודדת יכולה לשלב שאלת בוליאני (Boolean) לבדיקת זכאות להחזר יחד עם שאלת ניקוד (Score) לקביעת דחיפות. אפשר לתשאל שאלות שונות לגבי אותו טקסט קלט בתוך בקשה אחת בלבד. המערכת שלכם מגדירה את סף ההסתברות (threshold) שמעליו הפעולה תתבצע אוטומטית בקוד, או תועבר לבדיקה ידנית של נציג אנושי. בתוך decision models documentation מפורטים סוגי השאלות ודוגמאות שימוש נוספות.
מודלי ההחלטה האלה מסווגים טקסט, מנתבים בקשות ומדרגים תוכן לפי קריטריונים שאתם מגדירים.הודעת העדכון של Vercel
ההבדל בין הפיל לממותה
שני המודלים מבוססים על אימון המשך של Qwen3.5, אבל נבדלים בנפח שלהם וביעדי הביצועים. Mammoth-1 מגיע עם 27 מיליארד פרמטרים ומדורג ראשון במדד Jev Decision Index לפי נתוני ההשקה. Elephant-1 הקל יותר כולל 9 מיליארד פרמטרים בלבד וחולק את המקום הראשון במדד Artificial Analysis Decision Index. שניהם תומכים בחלון הקשר של 16k טוקנים, נתון שמספיק לניתוח שרשראות שיחה שלמות או תכתובות מייל ללא קיצוץ מוקדם. לא הייתי ממהר לבחור בממותה הכבדה אם מודל 9B מספק את אותה רמת סיווג בחצי מהמשאבים.
| מאפיין | Elephant-1 | Mammoth-1 |
|---|---|---|
| מספר פרמטרים | 9B | 27B |
| חלון הקשר | 16k טוקנים | 16k טוקנים |
| דירוג במדדי החלטה | תיקו על מקום 1 (Artificial Analysis) | מקום 1 (Jev Decision Index) |
| רישיון משקלים | MIT | MIT |
| גישה חינמית ב־Vercel | עד 27 באוקטובר 2026 | עד 27 באוקטובר 2026 |
החינם ייגמר, הקוד הפתוח יישאר
הגישה החינמית לשני המודלים דרך ה־AI Gateway של Vercel פתוחה למשך שבוע אחד, עד 27 באוקטובר 2026. מפתחים מקומיים בישראל לא נתקלים כאן בחסימות שירות גיאוגרפיות, והקריאות מרוכזות תחת אותו מפתח ממשק. אולם, Vercel טרם פרסמה את תעריפי השימוש שייגבו לאחר סיום השבוע החינמי, ולא ברור אם החיוב יתבסס על נפח טוקנים או על מספר בקשות בודדות. בנוסף, מגבלות הקצב כגון RPM ו־TPM עבור השימוש החינמי אינן מצוינות בדוקומנטציה, וזה בדרך כלל אומר משהו.
מי שחושש מנעילת ספק ימצא נחמה בעובדה שמשקלי המודלים שוחררו תחת רישיון MIT פתוח, כך שניתן לפרוס אותם עצמאית.
אם התמחור העתידי של Vercel לא יתאים לתקציב שלכם, תמיד תוכלו להוריד את המשקלים של Mammoth-1 ו־Elephant-1 מ־Hugging Face ולהריץ אותם על שרתים משלכם. עם זאת, אירוח עצמי דורש חישוב מוקדם של זיכרון הווידאו (VRAM), במיוחד עבור מודל ה־27B תחת עומסי ייצור.
שילוב בקוד וצעדים הבאים
ההטמעה בפרויקט קיים נשענת על קוד TypeScript קצר. קוראים לפונקציה decide מתוך ספריית ה־ai, ומגדירים את שם המודל בתור baseten/elephant-1 או baseten/mammoth-1 יחד עם ה־state שמכיל את הטקסט לניתוח. הקריאות מופיעות ישירות בתוך logs של הפלטפורמה ומחושבות מול מגבלות ה־budgets שהגדרתם, לצד שאר בקשות ה־API במערכת.
בשלב זה כדאי להריץ בדיקות ביצועים מול נתוני אמת של הבוט שלכם לפני שמחליטים על מעבר מלא. תראו אם המודל הקטן יותר, Elephant-1, מספק דיוק מספק עבור הצרכים שלכם, שכן מודל 9B צורך פחות משאבי מחשוב. מי שחייב לייצר תשובות טקסט עשירות למשתמש הקצה לא ימצא כאן מענה, שכן הכלים מחזירים בחירות, הסתברויות וציונים בלבד. עד שיתפרסם מחירון רשמי, עדיף להגדיר את השימוש בפרודקשן כניסוי מבוקר.
בינתיים, יש לכם שבוע לנתב שיחות בלי לשלם על זה.
מקורות
- Baseten's Mammoth-1 and Elephant-1 now available on AI Gateway for freehttps://vercel.com/changelog/basetens-mammoth-1-and-elephant-1-now-available-on-ai-gateway-for-free
- Mammoth-1https://vercel.com/ai-gateway/models/mammoth-1
- Elephant-1https://vercel.com/ai-gateway/models/elephant-1
- decision models documentationhttps://vercel.com/docs/ai-gateway/modalities/decision
- logshttps://vercel.com/docs/ai-gateway/observability-and-spend/logs
- budgetshttps://vercel.com/docs/ai-gateway/observability-and-spend/budgets
- Vercelhttps://weba.co.il/tools/vercel/
- TypeScripthttps://weba.co.il/glossary/typescript/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.