לשלם על פלט של מודל שפה שלם רק כדי לקבל תשובת כן או לא זה הרגל יקר.
מפתחים רבים שורפים תקציבי ענן על קריאות כבדות לניתוב פניות, אימות נתונים או בדיקות תקינות פשוטות. חברת Vercel הכריזה על שילוב מודל ההחלטות Jev בתוך ה-AI SDK שלה לפייתון, והרשת מיד התמלאה בהכרזות על מהירות מסחררת וסוף עידן ההזיות. מי שבודק את המפרט הטכני מגלה כלי שימושי למטרות מוגדרות, לצד פער ניכר בין כותרות היח"צ לבין המציאות בייצור.
רק שאלות סגורות
המודל Jev, שפותח על ידי חברת TypeSafe AI בראשות יוצא OpenAI דיוגו אלמיידה (Diogo Almeida), פועל לפי תפיסת ה-System One שבהשראת חתן פרס נובל הישראלי פרופ' דניאל כהנמן ז"ל. הוא לא מודל שפה גנרטיבי, אין לו ממשק צ'אט, והוא אינו מחבר פסקאות או כותב קוד באופן ישיר. במקום זאת, מדובר במסווג שמקבל קלט ומחזיר החלטה מובנית בפורמט JSON נקי.
השילוב החדש בספריית Python מתמקד בפונקציה בודדת בשם evaluate. הממשק תומך בשלושה סוגי שאלות בלבד: ChoiceQuestion לבחירה מתוך רשימת אפשרויות סגורה, ScoreQuestion לדירוג הקלט על גבי סקאלה מספרית מותאמת אישית, ו-NoulQuestion להערכת הסתברות בוליאנית בין 0 ל-1 לגבי נכונותה של טענה.
Jev בנוי לקבלת החלטות צרות. השאלה האם הוא מדויק מספיק למקרי השימוש שלכם היא משהו שתצטרכו לבדוק.ההכרזה הרשמית של Vercel
התמחור מול ההבטחות ברשת
היתרון המרכזי של Jev נמצא במבנה העלויות. התשלום עומד על 0.042 דולר למיליון טוקנים של קלט, ללא כל חיוב על טוקנים של פלט, עם חלון הקשר של עד 64,000 טוקנים. במודל שמחזיר רק מזהה בחירה או ציון מספרי, מודל התמחור הזה שקוף והגיוני לחלוטין. בשימוש דרך Vercel, המעבר למודל כזה מיועד לחסוך קריאות כבדות ל-LLM גנרטיבי.
עם זאת, שווה להפריד בין ההצהרות השיווקיות למדידות בפועל. ב-TypeSafe טוענים לתגובה מהירה פי 40 עד פי 200, ולעלויות נמוכות פי 40 עד פי 400 בהשוואה למודלי שפה גדולים. במדידות עצמאיות השיפור במהירות מול מודלים רזים עומד על פי 7 לערך, והחיסכון בעלויות בפועל נמדד סביב פי 30. אלו עדיין מספרים מרשימים, אך רחוקים מטענות הקיצון.
אין שגיאות תחביר, יש טעויות
Jev מבטיח אפס שגיאות תחביר במבנה התשובה, אבל הוא עדיין מבצע טעויות סיווג עובדתיות בדיוק כמו כל מודל סטטיסטי.
ההבטחה על היעלמות ההזיות מתבססת על כך שהמודל אינו מייצר מילים חדשות אלא רק בוחר ערכים קיימים. ברמת הפורמט, המבנה תמיד יישאר תקין ומאומת. אבל סיווג שגוי הוא עדיין כשל. אפילו בדוגמה שפרסם צוות הפיתוח של Vercel, כשביקשו מהמודל להבדיל בין קוד פייתון לאנגלית שוטפת, ביטוי קוד חלקי סווג בטעות כאנגלית. מעבר לכך, כיול ההסתברויות והדיוק הסטטיסטי נבדקו בעיקר באנגלית. עבור טקסטים בעברית רמת הדיוק צונחת, ושימוש במודל לניתוב פניות מקומיות עלול להניב שגיאות סיווג תכופות.
| פרמטר | הצהרת היצרן וההייפ | בדיקה עצמאית ומציאות בפועל |
|---|---|---|
| זמני שיהוי ומהירות | 70 מילי-שניות עד חצי שנייה, מהיר פי 40 עד פי 200 | מהיר פי 7 בלבד ממודל קל |
| חיסכון בעלויות | מחיר של 0.042 דולר למיליון טוקני קלט, זול פי 40 עד פי 400 בהשוואה ל-LLM | זול פי 30 |
| אמינות והזיות | המודל לא ממש הוזה כי אינו מייצר טקסט חדש | תחביר JSON תקין תמיד, אך שגיאות סיווג עדיין קיימות |
| תמיכה בשפות | אימון ראשי באנגלית לצד תמיכה בשפות נוספות | עברית נתמכת אך ברמת כיול ודיוק מופחתים בהשוואה לאנגלית |
נעילת ענן ושאלת המשקלים
מי שמחפש פתרון עצמאי להרצה מקומית יתאכזב לגלות ש-Jev אינו מודל בקוד פתוח. TypeSafe AI מחזיקה את המשקלים אצלה ומציעה שירות ענן קנייני בלבד. אי אפשר להריץ אותו בתוך קונטיינר של Docker בשרת פנימי, וכל קלט חייב לצאת החוצה לרשת. הפתרון הזה לא מתאים אם אתם כפופים לרגולציית מידע מחמירה או אחסון מקומי בלבד.
סוגיית פרטיות המידע ממשיכה גם אחרי שמגדירים מפתחות. אפילו אם מנתבים את התנועה דרך AI Gateway של Vercel, הנתונים מועברים ישירות לתשתית של TypeSafe AI. מול השירות הקנייני הזה בולט המודל Clef של Cloudflare, שמציע גישה עם משקלים פתוחים ומאפשר גמישות תשתיתית למי שאינו מעוניין להיות נעול בספק יחיד.
מתי לשלב בקוד
Jev שווה את הבדיקה אם יש לכם צנרת עיבוד באנגלית שמבזבזת משאבים על ניתוב תעבורה, מודרציית תוכן או בדיקת שומרי סף עבור סוכנים אוטונומיים. הוא נותן מענה מצוין כשצריך החלטה מספרית או בינארית מהירה לפני שמפעילים מודלים עמוקים וכבדים. ההתקנה בפייתון פשוטה ודורשת התקנה של ספריית ai והגדרת מפתח גישה דרך ה-Gateway של Vercel.
לא הייתי ממהר להחליף תהליכים קיימים לפני בדיקת דיוק על המידע הספציפי שלכם. הטעויות שלו שקטות יותר משל מודל שממציא סיפורים, אבל הן עדיין שם.
מקורות
- Jev for Python engineershttps://vercel.com/blog/jev-for-python-engineers
- בהשראת חתן פרס הנובל הישראלי: המודל החדש של יוצר ChatGPT הפך לוויראליhttps://www.geektime.co.il/jev-is-the-new-ai-buzzword/
- AI Gateway Authentication and BYOKhttps://vercel.com/docs/ai-gateway/authentication-and-byok
- Vercel AI Gateway: Models, Routing, and Observabilityhttps://vercel.com/docs/ai-gateway
- Vercelhttps://weba.co.il/tools/vercel/
- JSONhttps://weba.co.il/glossary/json/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.