אין מפתח AI מקומי שלא חווה את הרגע שבו מעדכנים תלות בספרייה וכל הפרויקט נשבר. במשך שנים, הקוד הפתוח בתחום רץ מהר מדי מכדי לעצור ולשמור על תאימות לאחור, וצוותי פיתוח העדיפו לשלם על קריאות לענן של ספקיות הענק רק כדי לא להתעסק עם קוד C ו-C++ שמשתנה כל יומיים. עכשיו, פרויקט ggml שחרר רשמית את גרסה 1.0.0, ומציע סוף סוף קרקע יציבה.
אם אתם מנהלים תשתית backend ומחפשים עצמאות מוחלטת בלי לפחד מקריסות של עדכוני ספרייה, המהלך הזה נוגע ישירות לארכיטקטורה שלכם.
בלי שבירת ממשקים
גרסה 1.0.0 מקבעת לראשונה חוזה גרסאות סמנטיות מלא. הפרויקט, שנבנה במשך שלוש שנים וחצי כבסיס החישוב של llama.cpp, מפריד כעת רשמית בין שכבת החישוב הטנזורי לבין מנוע ההסקה. ההתחייבות ל-SemVer מתמקדת בספריות ה-C הציבוריות שבתיקיית ה-include, ומבטיחה שעדכוני גרסה עתידיים תחת ענף 1 לא ישברו את ה-API או את ה-ABI של הקוד הקיים שלכם.
בפועל, צוותים יכולים לשלב את הספרייה במוצרים בלי לתחזק שכבות תיווך עוקפות ובלי לנעול גרסאות על קומיט בודד בגיט.
התאמות חומרה ולא רק הצהרות
לצד היציבות, השחרור מביא שינויים בקרנלים של מאיצי החומרה. ב-CUDA הוטמעה תמיכה בפורמט OCP FP8, מוזגו פעולות חישוב של מודלי תערובת מומחים ונוספו קרנלים של כפל מטריצות מקוונטט לאצוות קטנות. בסביבת Vulkan נוסף קרנל prefill ייעודי ל-FlashAttention במעבדי Intel, וסביבת Metal של Apple קיבלה מיזוג של ניתוב המומחים בתוך מאגר פקודות יחיד.
מנהל המשימות עבר ארגון מחדש. המנוע מדלג על העלאת קלטים שלא נקראים וטוען מראש נתונים שיוצרו בפיצולים מוקדמים של הגרף, מה שמונע בזבוז רוחב פס וזיכרון.
| סביבת חומרה | חידושים בגרסה 1.0.0 | משמעות פרקטית למפתח |
|---|---|---|
| NVIDIA (CUDA) | תמיכה ב-OCP FP8, מיזוג פעולות NVFP4 ו-MoE, קרנלים ייעודיים ל-MMQ | קיצור זמני תגובה וחיסכון בזיכרון VRAM באצוות קטנות |
| Apple (Metal) | מיזוג ניתוב MoE, שמירת צמתי חישוב במאגר פקודות יחיד | צמצום תקורה במעבדי Apple Silicon ומניעת גלישות זיכרון |
| Vulkan | קרנל prefill ל-FlashAttention במעבדי Intel, פיצול K לכרטיסי AMD | האצת תחילת תגובה על חומרה מגוונת ללא תלות בספק יחיד |
| WebGPU | קרנלים חדשים כמו GROUP_NORM ותמיכה בטנזורים באצוות | הרצה ישירה ויציבה של מודלים בתוך דפדפנים וממשקי ווב |
המחיר של קוד נייד
ניידות מגיעה תמיד עם פשרה. אם המערכת שלכם רצה רק על מאיצי שרתים ייעודיים של NVIDIA, ספריות כמו TensorRT-LLM עדיין יספקו ביצועים עדיפים בזכות התאמה בלעדית לשבב. בנוסף, בהערות השחרור של הפרויקט באתר GitHub אין מבחני ביצועים רשמיים מול סביבות ייעודיות, כך שתצטרכו למדוד בעצמכם את זמני השיהוי. לדעתי, המעבר שווה רק אם אתם באמת מנצלים את היכולת לנדוד בין סוגי חומרה שונים.
הספרייה הזו פונה ישירות לסטארטאפים ולגופי ביטחון מקומיים שמריצים מערכות ברשתות מנותקות. הרצת מודלים שעברו התאמה לעברית בתוך רשת סגורה, ללא עלויות רישוי וללא חשש מזליגת מידע, הופכת להרבה יותר פשוטה כשבסיס הקוד לא מתפרק בכל עדכון.
ggml 1.0.0 גוזמת את ה-API הציבורי הישן, מסירה את פעולות DIAG_MASK המיושנות, ומוסיפה תמיכה מוגדרת ב-YaRN וב-FP8 לצד עבודת ביצועים רחבה בכל הסביבות.הערות השחרור של ggml v1.0.0 ב-GitHub
מה לבדוק לפני שמשדרגים
לפני שאתם מעלים גרסה, ודאו שהקוד לא נשען על קריאות ישנות שהוסרו. פעולות המסיכה DIAG_MASK_INF ו-DIAG_MASK_ZERO נמחקו מהספרייה. בנוסף, פרוטוקול ה-RPC עודכן לגרסה 9, מה שאומר שצמתים ישנים ברשת יידחו מיד ולא יוכלו לתקשר עם השרת המעודכן.
ההתחייבות ל-SemVer פותרת את שאלת היציבות השוטפת, אבל בהודעה הרשמית אין מילה על תוכנית תמיכה ארוכת טווח שתספק תיקוני אבטחה לענף 1 ברגע שתצא גרסה 2. אם המערכת שלכם יציבה בפרודקשן ואינכם זקוקים לפורמטים החדשים, לא הייתי רץ לשדרג כבר מחר, אלא ממתין כמה שבועות עד שהקהילה תלטש את הבאגים הראשונים.
בינתיים, אפשר לעדכן תלות בלי להכין מראש חדר מצב.
מקורות
- Ggml v1.0.0https://github.com/ggml-org/ggml/releases/tag/v1.0.0
- Latesthttps://github.com/ggml-org/ggml/releases/latest
- GitHubhttps://weba.co.il/tools/github/
- Backendhttps://weba.co.il/glossary/backend/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.