לפעמים כל מה שמפריד בין הפרומפט הסודי שלכם לבין לקוח זר בצד השני של העולם הוא דף זיכרון שלא נוקה. מנועי AI שיתופיים מבטיחים ביצועים מהירים בעלויות נמוכות, אבל מתחת למכסה המנוע הם מסתמכים על הנחה מסוכנת: שהתוכנה תמיד תדע לעקוב אחרי כל פיסת מידע. ב-26 באוקטובר 2026 חשפה Cloudflare תקלת אבטחה חריגה שהתרחשה בפלטפורמת Workers AI שלה, ובמסגרתה תשובות שנשלחו למשתמשים כללו מידע גולמי שנלקח משיחות של משתמשים אחרים. התקלה לא דרשה התקפת סייבר מתוחכמת, אלא רק פרומפט ארוך מספיק.
155 תשובות עם מידע זר
לפי התחקיר שפרסמה קלאודפלייר, האירוע החל ב-27 באוגוסט 2026, עם השקת מודל הקוד GLM-5.3 של חברת Z.ai בפלטפורמת Workers AI, ונמשך עד 9 בספטמבר 2026. במהלך השבועיים האלה הוחזרו 155 תשובות שהכילו פיסות מידע מתוך בקשות קודמות של לקוחות אחרים. הדליפה הוגבלה אך ורק למודל הזה, ורק לפניות שכללו מעל 681,280 טוקנים. החברה אישרה כי אף מודל אחר שרץ על התשתית לא הושפע כלל.
זה מטריד.
מי שגילה את הפרצה היה חוקר האבטחה הישראלי גדי עברון, מייסד ומנכ"ל חברת אבטחת ה-AI התל אביבית Knostic. עברון דיווח דרך תוכנית HackerOne של קלאודפלייר ב-8 בספטמבר בשעה 23:11 (UTC), כי פרומפטים ארוכים במיוחד למודל מחזירים טקסטים של משתמשים אחרים. למחרת בבוקר החלה החברה באימות הדיווח, בצהריים שחזרו מהנדסי החברה את הבאג תוך 25 דקות מרגע הכרזת תקרית האבטחה, וקלאודפלייר השביתה את המודל לחלוטין 40 דקות בלבד לאחר ההכרזה, עד לתיקון ההגדרות והקוד באותו היום.
זיכרון שלא אופס בשביל ביצועים
הכשל נולד משילוב בין טעות הגדרה של קלאודפלייר לבין באג תוכנתי חמור במנוע ההסקה הפתוח SGLang. קלאודפלייר הריצה את המודל בארכיטקטורה מבוזרת: שרתי Prefill מעבדים את הפרומפט ויוצרים עבורו מאגר KV cache, ומעבירים אותו באמצעות ספריית Mooncake על גבי רשת RDMA מהירה לשרתי Decode שמייצרים את התשובה. המודל פורסם עם חלון הקשר של 1,048,576 טוקנים, אך בפועל נותר בזיכרון ה-GPU של שרתי ה-Prefill מקום ל-681,280 טוקנים בלבד. בקלאודפלייר הודו כי ידעו מראש על הפער הזה, אך הסתמכו על כך שהמערכת תחזיר שגיאת שרת תקינה במקרה של חריגה ולא בדקו את תוכן הפלט בפועל.
הדפים אינם מאופסים כרגע לאפסים בין בקשות; הבקשה הבאה שמקבלת דף פשוט דורסת אותו. גישה זו נפוצה בקרב מנועי הסקה ונחוצה להשגת הביצועים הטובים ביותר, אך משמעותה היא שמנוע ההסקה אחראי על מעקב הבעלות על דפי זיכרון אלה.Cloudflare Blog
בשל באג ב-SGLang, בקשה שעברה את המגבלה הוחלפה פנימית בטוקן דמה בודד במקום להידחות בשגיאה. שרתי ה-Decode שקיבלו את ההודעה הניחו שכל 8 דפי הזיכרון שהוקצו לבקשה נכתבו מחדש, אך בפועל נכתב רק הדף הראשון. מכיוון שמנועי הסקה לא מאפסים את ה-GPU לאפסים כדי לא לפגוע במהירות, השרת קרא את הדפים הנותרים שהכילו זיכרון ישן של בקשות קודמות, ושילב אותם ישירות בתשובה. הפער הזה הוביל לכך שדפי זיכרון שהכילו מידע ממשתמשים קודמים נקראו ישירות לתוך תשובות של לקוחות אחרים.
מה שקלאודפלייר לא סיפרה
קלאודפלייר ציינה כי לאחר בדיקת נפח הבקשות היא שוללת ניצול זדוני מכוון, אך לא צירפה לוגים המאפשרים אימות עצמאי. מעבר לכך, החברה נמנעה מלפרט אילו סוגי מידע דלפו באותן 155 תשובות: האם מדובר במפתחות API של שרתים ארגוניים, קטעי קוד קנייני שנשלחו לניתוח, או פרטי שיחות רגישים. החברה גם לא ציינה בהודעתה אם פנתה באופן פרטני ויזום ללקוחות שתוכן השיחות שלהם נחשף לאחרים.
הנתונים נשארו בחושך.
יתרה מכך, דיווח על התנהגות שגויה במקרים של חריגה מהזיכרון כבר הוגש לפרויקט SGLang ב-GitHub תחת Issue #30233 עוד בחודש יולי, שבועות לפני השקת המודל בקלאודפלייר. מדובר בפער תהליכי שבו מודל עלה לפרודקשן עם הקצאת זיכרון קטנה מחלון ההקשר המוצהר, כשבדיקות הקבלה הסתפקו בקודי HTTP 200 תקינים בלי לוודא את קוהרנטיות הפלט.
איך לבדוק את התשתית שלכם
אם הרצתם בקשות באורך של מעל 681 אלף טוקנים למודל GLM-5.3 ב-Workers AI בתאריכים הרלוונטיים, מומלץ לפנות לתמיכה של קלאודפלייר כדי לברר אם החשבון שלכם נכלל ב-155 התשובות שדלפו. אם אתם מריצים מודלים בעצמכם על גבי SGLang בארכיטקטורה מבוזרת, חובה לעבור לגרסה v0.5.22 ומעלה, הכוללת את התיקונים המונעים כניסת בקשות פגומות לתור ומבצעים בדיקות תאימות זיכרון.
במבט רחב, האירוע מדגיש את מחיר הפשרה בארכיטקטורות ענן שיתופיות. לא הייתי ממהר להפקיד נתונים סודיים על חומרה שיתופית כזאת. ארגונים שמעבדים קוד רגיש, סודות מסחריים או מידע אישי מוגן צריכים לשקול ברצינות מעבר לשרתים ייעודיים. המחיר החודשי של מכונה ייעודית אולי גבוה יותר, אבל מחיקת זיכרון מלאה עולה פחות מחשיפת בסיס הקוד שלכם.
| פרמטר | שרת שיתופי (Multi-tenant) | שרת ייעודי (Single-tenant) |
|---|---|---|
| בידוד זיכרון ה-GPU | לוגי ברמת התוכנה (ללא איפוס דפים) | פיזי ומלא ברמת החומרה והשרת |
| חשיפה לבאגים במנוע ההסקה | גבוהה (זליגת KV cache בין משתמשים) | אפסית בין לקוחות שונים |
| השפעת תצורת זיכרון שגויה | סכנת קריאת נתוני עבר של זרים | שגיאת ריצה מקומית בלבד |
| עלות תשתית | נמוכה (תשלום לפי טוקנים שנצרכו) | גבוהה (תשלום קבוע על חומרה מוקצית) |
כפי שזה נראה כרגע, מרוץ המהירות והחיסכון של מנועי ההסקה ממשיך לייצר פשרות אבטחה שקטות מאחורי הקלעים. בסוף, כפתור ההרצה עובד מהר, רק שלפעמים הוא מביא איתו עוד כמה נוסעים סמויים.
מקורות
- Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLanghttps://blog.cloudflare.com/kv-cache-exposure-remediation/
- Workers AI Models · Cloudflare Workers AI docshttps://developers.cloudflare.com/workers-ai/models
- Posts tagged "Developers" — Cloudflare Bloghttps://blog.cloudflare.com/tag/developers
- מעקב תקלת ה-Disaggregated Prefill/Decode במאגר SGLanghttps://github.com/sgl-project/sglang/issues/30233
- Mooncakehttps://kvcache-ai.github.io/Mooncake/
- Cloudflarehttps://weba.co.il/tools/cloudflare/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.