עברית קשה שפה, ומסתבר שגם יקרה להחריד כשרצים בתוך רשת נוירונים. מפתחים ישראלים שבונים מערכות LLM מכירים את ההפתעה בחשבונית החודשית מספקית הענן: כמות הקריאות נשארת מתונה, אבל סך הטוקנים מזנק בלי פרופורציה לכמות המילים שנשלחו. מחקר שפורסם בגיקטיים מציג את הסיבה המדויקת במספרים קרים. הפער הזה אינו באג, אלא תוצאה ישירה של אופן אימון המודלים.
מודלי שפה אינם רואים טקסט במילים או באותיות שלמות, אלא ברצפים סטטיסטיים הקרויים טוקנים. הטוקנייזרים המובילים אומנו ברובם המוחלט על טקסט באנגלית ובשפות בעלות כתב לטיני, שם מילה ממוצעת דורשת טוקן בודד או שניים. בשפות שמיות, היעדר ייצוג מספק במילון מאלץ את האלגוריתם לפרק מילים לחלקי תווים ואף לרסיסי בתים בודדים בקידוד UTF-8. התוצאה היא תשלום מנופח עבור אותו נפח סמנטי, רק בגלל השפה.
אותו תוכן פי שלושה במחיר
המחירונים הרשמיים מספרים סיפור חלקי בלבד. כשאנתרופיק גובה 10 דולר למיליון טוקני קלט ו-50 דולר למיליון טוקני פלט על Fable 5, או כשמטא מציגה שימוש במודל קוד פתוח כמו Llama 3.3, החישוב נשען על הנחת מוצא של טקסט באנגלית. בעברית, שנמצאת במקום ה-32 בדירוג הנוכחות הדיגיטלית שלה ברשת, המצב שונה לחלוטין. אותיות יחס וקישור, לצד מבנה מורפולוגי עשיר, מפורקות לחלקים קטנים שמנפחים את הספירה.
במודל Llama 3.3 של מטא, עיבוד של אותו משפט בדיוק דורש בעברית פי שלושה טוקנים לעומת אנגלית.
הטקסט מרוסק לרסיסים עוד לפני שהמודל החל לחשב את התשובה. מי שמשווה ספקיות לפי עלות מוצהרת למיליון טוקנים מבצע חישוב שגוי שאינו תואם את המציאות המקומית. ההבדל הזה מורגש בכל שאילתה, בכל סיכום מסמך ובכל שיחה מול לקוח.
מבחן 200 השפות של CLEAR
התמונה הרחבה נחשפת בבדיקה שערך צוות המחקר CLEAR על מס הטוקניזציה, שבחן עשרות מודלים מובילים מול מאגר FLORES-200 הכולל משפטים זהים שתורגמו לכ-200 שפות. ב-20 השפות הנפוצות ביותר ברשת, היצרניות השקיעו במילון מאוזן ויחסי העלות נעים בין פי 1.5 לפי 3.1. ברגע שחוצים את רף 20 השפות הראשונות, הפערים מתרחבים ומגיעים עד לפי 17 במקרים קיצוניים.
עבור רוב מודלי השפה, הפער ביעילות הטוקניזציה פועל כמס רגרסיבי: ככל שלשפה יש פחות נוכחות דיגיטלית, כך דובריה משלמים שיעור מס גבוה יותר.דוח CLEAR
הנטייה הטבעית היא לחשוב ששפות מסוימות פשוט ארוכות יותר. אבל בעוד ששפת שאן, השפה המילולית והארוכה ביותר במאגר FLORES-200, ארוכה רק ב-42 אחוזים מאנגלית ברמת התווים, פערי הטוקנים חוצים מאות אחוזים. במלאיאלאם ובאמהרית יש פחות תווים מבמשפט המקביל באנגלית, אך הן צורכות פי שניים ופי שישה יותר טוקנים ב-GPT-5. באמהרית, אותיות בכתב געז מפורקות לשני טוקנים נפרדים של בייט בודד. זו תוצאה ישירה של הנדסת המילון ולא של אורך הטקסט עצמו.
לפי חוקרי CLEAR, מודלים מקבלים ציון לפי מדד פער מרבי ומדד אי-השוויון ג'יני. מודל עם יחס של עד פי 3 מקבל A, עד פי 6 מקבל B, עד פי 9 מקבל C, עד פי 12 מקבל D, ומעבר לכך סופג ציון F. אף מודל לשימוש כללי לא קיבל A. מודל התרגום הייעודי NLLB של מטא הוא היחיד שזכה בציון A עם יחס של פי 2.7 ומדד ג'יני של 0.08, מפני שנבנה במכוון לטפל ב-200 שפות בשוויון.
| משפחת מודלים | ספקית | גודל מילון | פער מרבי (FLORES-200) | ציון CLEAR |
|---|---|---|---|---|
| NLLB-200 | Meta | כ-256 אלף | פי 2.7 | A |
| Gemini 3.8 Flash / Gemma 4 | כ-262 אלף | פי 5.1 | B | |
| Claude Fable 5 / Opus 4.8 | Anthropic | לא פורסם | פי 9.3 | D |
| Llama 4 Scout | Meta | כ-200 אלף | פי 9.5 | D |
| Command A (מרץ 2025) | Cohere | כ-255 אלף | פי 12.2 | F |
| GPT-5 / gpt-oss | OpenAI | כ-200 אלף | פי 13.8 | F |
| Command A+ (מאי 2026) | Cohere | כ-255 אלף | פי 14.2 | F |
| Llama 3.3 | Meta | כ-128 אלף | פי 14.8 | F |
| Falcon 3 | TII | כ-131 אלף | פי 17.0 | F |
ההבדל בין מודל למודל
משפחת Gemini של Google, ובראשה Gemini 3.8 Flash, מובילה מקרב המודלים הכלליים עם ציון B ופער מרבי של פי 5.1 (מדד ג'יני של 0.15). ההישג נשען על מילון רחב של כ-262 אלף טוקנים שהוקצה בחלקו הגדול לייצוג רב-לשוני אמיתי. לעומת זאת, GPT-5 של OpenAI סופג ציון נכשל (F) עם פער של פי 13.8 ומדד ג'יני של 0.23, אף על פי שמילון הטוקנים שלו מכיל כ-200 אלף ערכים.
ההשוואה בין הדורות מוכיחה שגודל המילון לבדו אינו מסביר את הפער, אלא ההחלטה אילו שפות להכניס לתוכו. מודל Command A+ של Cohere ממאי 2026 מחזיק מילון של כ-255 אלף ערכים אך מקבל ציון F עם פער של פי 14.2. לעומתו, Llama 4 Scout של מטא מסתפק במילון קטן יותר של כ-200 אלף ערכים ויורד לפער של פי 9.5 עם ציון D, שיפור ניכר לעומת Llama 3.3 שמחזיק מילון של 128 אלף ערכים וסופג פער של פי 14.8. מודלים אחרים מציגים תמונה דומה: Qwen 3 עם מילון של 152 אלף מגיע לפער של פי 10.5, בעוד ש-GLM-5.2 מגיע לפי 13.2.
מה שבאמת מעניין כאן הוא שהחברות הגדולות מציגות ביצועי שיא, אבל משאירות את התשתית הבסיסית מאחור.
לא רק כסף, גם זיכרון ומהירות
הבעיה אינה מסתכמת בחשבון ה-API החודשי. ניפוח טוקנים פוגע ישירות בארכיטקטורת המערכת שלכם, במיוחד במערכות אחזור מידע (RAG) ובטיפול במסמכים ארוכים. כשכל מילה בעברית דורשת פי שלושה טוקנים, חלון ההקשר האפקטיבי מתכווץ לשליש מנפחו המקורי. חלון עבודה של 128 אלף טוקנים, שמכיל ספר שלם באנגלית, ייחנק אחרי מסמכים ספורים בעברית. המודל מתחיל לאבד עובדות מוקדמות, לדלג על הוראות ולייצר הזיות על מידע שכבר הוזן לו.
מעבר לכך ישנה פגיעה קריטית בזמני השיהוי (Latency). מודלי שפה מייצרים טקסט טוקן אחרי טוקן. יצירת תשובה בעברית שדורשת פי שלושה טוקנים גוזלת פי שלושה פעולות חישוב ומעכבת את חזרת הנתונים. אם המערכת מרגישה אטית יותר בעברית, זו לא תקשורת הרשת, זו עבודת הפיענוח המיותרת של המודל. השרתים פשוט עובדים קשה פי שלושה כדי לפלוט את אותן מילים בדיוק.
תמחור לפי תווים לא יגיע
חוקרי CLEAR מציעים לעבור לחיוב בתווים במקום בטוקנים כדי לבטל את הפער הכלכלי. לא הייתי ממהר לבנות על זה. מדובר בהצעה שמתעלמת מאיך שחומרה עובדת. שרתי GPU מבצעים פעולות מתמטיות על טוקנים בפועל, וכל טוקן נוסף צורך זיכרון VRAM וזמן עיבוד ממשי של כרטיסי המסך. ספקיות התשתית לא יסבסדו עלויות חומרה כדי לאזן מילונים לקויים של מודלים חיצוניים, בדיוק כפי שחברת חשמל לא תמכור קילוואט בהנחה כי המכשיר ישן ולא יעיל.
במקום להמתין לשינוי עולמי בתמחור ענן, צוותי פיתוח מקומיים חייבים לפעול ברמת הארכיטקטורה. פרויקטי קוד פתוח כמו DictaLM 2.0 הדגימו את הכיוון הנכון כשהוסיפו 1,000 טוקנים ייעודיים בעברית למילון הבסיסי וחתכו את עלויות הפירוק בחצי. בנוסף, במערכות עתירות טקסט כדאי להעדיף מודלים ממשפחת Gemini של Google על פני מודלים של OpenAI, או להטמיע מודלי עיבוד מקומיים (On-Premise) שמבטלים את התלות בחיוב לפי טוקן ומספקים מענה הולם לדרישות תיקון 13 לחוק הגנת הפרטיות בישראל.
המודל שלכם לא שונא עברית, הוא פשוט לא למד לקרוא אותה ביעילות. עד שהטוקנייזרים ישתפרו, כדאי לתמחר את המוצר שלכם לפי המציאות החישובית ולא לפי ההבטחות של דף הנחיתה.
מקורות
- מחקר חדש: כותבים ל-AI בעברית? זה עולה לכם עד פי 3 טוקניםhttps://www.geektime.co.il/ai-tokenizer-tax-cost-llm-hebrew/
- The Tokenizer Tax | CLEARhttps://gkt.me/tokenizer-tax
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.