WEBA

גרסה 1.0.0 של ggml הופכת את ה-AI המקומי לבסיס יציב

אחרי שלוש שנים וחצי של ממשקים שבירים, הפרויקט שמאחורי llama.cpp נועל את ה-API ומאפשר לבנות מערכות בלי לפחד מכל עדכון גרסה.

431 מילים20 עובדות אומתו

אין מפתח AI מקומי שלא חווה את הרגע שבו מעדכנים תלות בספרייה וכל הפרויקט נשבר. במשך שנים, הקוד הפתוח בתחום רץ מהר מדי מכדי לעצור ולשמור על תאימות לאחור, וצוותי פיתוח העדיפו לשלם על קריאות לענן של ספקיות הענק רק כדי לא להתעסק עם קוד C ו-C++ שמשתנה כל יומיים. עכשיו, פרויקט ggml שחרר רשמית את גרסה 1.0.0, ומציע סוף סוף קרקע יציבה.

אם אתם מנהלים תשתית backend ומחפשים עצמאות מוחלטת בלי לפחד מקריסות של עדכוני ספרייה, המהלך הזה נוגע ישירות לארכיטקטורה שלכם.

בלי שבירת ממשקים

גרסה 1.0.0 מקבעת לראשונה חוזה גרסאות סמנטיות מלא. הפרויקט, שנבנה במשך שלוש שנים וחצי כבסיס החישוב של llama.cpp, מפריד כעת רשמית בין שכבת החישוב הטנזורי לבין מנוע ההסקה. ההתחייבות ל-SemVer מתמקדת בספריות ה-C הציבוריות שבתיקיית ה-include, ומבטיחה שעדכוני גרסה עתידיים תחת ענף 1 לא ישברו את ה-API או את ה-ABI של הקוד הקיים שלכם.

בפועל, צוותים יכולים לשלב את הספרייה במוצרים בלי לתחזק שכבות תיווך עוקפות ובלי לנעול גרסאות על קומיט בודד בגיט.

התאמות חומרה ולא רק הצהרות

לצד היציבות, השחרור מביא שינויים בקרנלים של מאיצי החומרה. ב-CUDA הוטמעה תמיכה בפורמט OCP FP8, מוזגו פעולות חישוב של מודלי תערובת מומחים ונוספו קרנלים של כפל מטריצות מקוונטט לאצוות קטנות. בסביבת Vulkan נוסף קרנל prefill ייעודי ל-FlashAttention במעבדי Intel, וסביבת Metal של Apple קיבלה מיזוג של ניתוב המומחים בתוך מאגר פקודות יחיד.

מנהל המשימות עבר ארגון מחדש. המנוע מדלג על העלאת קלטים שלא נקראים וטוען מראש נתונים שיוצרו בפיצולים מוקדמים של הגרף, מה שמונע בזבוז רוחב פס וזיכרון.

שינויים מרכזיים לפי סביבות חומרה בגרסה 1.0.0
סביבת חומרהחידושים בגרסה 1.0.0משמעות פרקטית למפתח
NVIDIA (CUDA)תמיכה ב-OCP FP8, מיזוג פעולות NVFP4 ו-MoE, קרנלים ייעודיים ל-MMQקיצור זמני תגובה וחיסכון בזיכרון VRAM באצוות קטנות
Apple (Metal)מיזוג ניתוב MoE, שמירת צמתי חישוב במאגר פקודות יחידצמצום תקורה במעבדי Apple Silicon ומניעת גלישות זיכרון
Vulkanקרנל prefill ל-FlashAttention במעבדי Intel, פיצול K לכרטיסי AMDהאצת תחילת תגובה על חומרה מגוונת ללא תלות בספק יחיד
WebGPUקרנלים חדשים כמו GROUP_NORM ותמיכה בטנזורים באצוותהרצה ישירה ויציבה של מודלים בתוך דפדפנים וממשקי ווב

המחיר של קוד נייד

ניידות מגיעה תמיד עם פשרה. אם המערכת שלכם רצה רק על מאיצי שרתים ייעודיים של NVIDIA, ספריות כמו TensorRT-LLM עדיין יספקו ביצועים עדיפים בזכות התאמה בלעדית לשבב. בנוסף, בהערות השחרור של הפרויקט באתר GitHub אין מבחני ביצועים רשמיים מול סביבות ייעודיות, כך שתצטרכו למדוד בעצמכם את זמני השיהוי. לדעתי, המעבר שווה רק אם אתם באמת מנצלים את היכולת לנדוד בין סוגי חומרה שונים.

הספרייה הזו פונה ישירות לסטארטאפים ולגופי ביטחון מקומיים שמריצים מערכות ברשתות מנותקות. הרצת מודלים שעברו התאמה לעברית בתוך רשת סגורה, ללא עלויות רישוי וללא חשש מזליגת מידע, הופכת להרבה יותר פשוטה כשבסיס הקוד לא מתפרק בכל עדכון.

ggml 1.0.0 גוזמת את ה-API הציבורי הישן, מסירה את פעולות DIAG_MASK המיושנות, ומוסיפה תמיכה מוגדרת ב-YaRN וב-FP8 לצד עבודת ביצועים רחבה בכל הסביבות.הערות השחרור של ggml v1.0.0 ב-GitHub

מה לבדוק לפני שמשדרגים

לפני שאתם מעלים גרסה, ודאו שהקוד לא נשען על קריאות ישנות שהוסרו. פעולות המסיכה DIAG_MASK_INF ו-DIAG_MASK_ZERO נמחקו מהספרייה. בנוסף, פרוטוקול ה-RPC עודכן לגרסה 9, מה שאומר שצמתים ישנים ברשת יידחו מיד ולא יוכלו לתקשר עם השרת המעודכן.

ההתחייבות ל-SemVer פותרת את שאלת היציבות השוטפת, אבל בהודעה הרשמית אין מילה על תוכנית תמיכה ארוכת טווח שתספק תיקוני אבטחה לענף 1 ברגע שתצא גרסה 2. אם המערכת שלכם יציבה בפרודקשן ואינכם זקוקים לפורמטים החדשים, לא הייתי רץ לשדרג כבר מחר, אלא ממתין כמה שבועות עד שהקהילה תלטש את הבאגים הראשונים.

בינתיים, אפשר לעדכן תלות בלי להכין מראש חדר מצב.

מה לעשות עכשיובדקו שהקוד שלכם לא משתמש בפעולות DIAG_MASK שהוסרו ושדרגו את צמתי ה-RPC לפני הטמעת גרסה 1.0.0 במערכות הפיתוח.

מקורות

  • Ggml v1.0.0https://github.com/ggml-org/ggml/releases/tag/v1.0.0
  • Latesthttps://github.com/ggml-org/ggml/releases/latest
  • GitHubhttps://weba.co.il/tools/github/
  • Backendhttps://weba.co.il/glossary/backend/

הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.

מה שואלים על זה

האם המעבר ל-1.0.0 שובר קוד שנכתב בגרסאות קודמות?

כן, אם הקוד השתמש בפונקציות שהוסרו כמו פעולות DIAG_MASK_INF ו-DIAG_MASK_ZERO, או בפרוטוקול RPC ישן שאינו תואם לגרסה 9.

מה ההבדל כעת בין ספריית ggml לבין llama.cpp?

גרסה 1.0.0 מקבעת את ההפרדה בין libggml, שמשמשת כשכבת חישוב טנזורי כללית ומרובת פלטפורמות, לבין libllama, שמממשת את מנוע ההסקה הייעודי למודלי שפה.

האם יש התחייבות לתמיכה ארוכת טווח (LTS) בגרסה 1.0.0?

לא פורסמה התחייבות לתוכנית LTS רשמית. היציבות תקפה במסגרת חוקי SemVer לענף גרסה 1 בלבד, ללא הבטחה לתחזוקה מקבילה בעת שחרור גרסה 2.

באילו שינויים יש לטפל מיד בעת שדרוג הפרויקט?

יש להחליף קריאות לפונקציות מסכה ישנות שהוסרו, לוודא תאימות של נקודות הקצה לפרוטוקול RPC v9, ולעדכן את קריאות ה-RoPE אם נדרשת שליטה בקיטום פרמטרי YaRN.