הבטחות שיווקיות על זמינות של ארבע תשיעיות נשמעות נהדר במצגות להנהלה, עד שהפיוז הראשי בחוות השרתים קופץ. זה מה שקרה היום, 20 באוקטובר 2026, כשאירוע אספקת חשמל פיזי באזור לונדון השבית מערכות בנקאיות מובילות בבריטניה ואירופה. אם שמרתם את התשתיות שלכם באותו מחוז גאוגרפי מתוך מחשבה שחלוקה פנימית לאזורי משנה תציל אתכם, האירוע הזה הוא תזכורת כואבת למציאות. לא הייתי בונה על ההבטחות האלה לפרויקט הבא שלי.
לפי דיווח באתר Neowin, התקלה ב-Google Cloud שיתקה את בנק HSBC ואת חברת הפינטק Revolut, לצד גופים פיננסיים נוספים כמו Bank of Scotland ו-Lloyds. אצל רבולוט הושבתו כמעט כל הפעולות: כניסה לחשבון, הרשמת משתמשים חדשים, העברות כספים, משיכות מכספומט, מסחר במניות ורכישת קריפטו. ברבולוט אישרו כי המידע והכספים של הלקוחות נותרו מוגנים. עבור לקוח שמנסה לשלם כרגע בקופה בסופר, ההסבר הזה לא ממש עוזר.
החשמל כבה. השירות נעצר.
הפסקת חשמל אחת השביתה הכל
התקלה התמקדה באזור europe-west2, ובאופן ספציפי ב-zone europe-west2-b. ברגע שנפלה אספקת החשמל, שרשרת הנפילות פגעה בשכבות העמוקות ביותר של הענן. גוגל אישרה רשימה ארוכה של עשרות שירותי ליבה שהושבתו באותו זמן. הרשימה כוללת שירותי מחשוב כמו Compute Engine וניהול קונטיינרים ב-Kubernetes. היא כוללת גם פלטפורמות אפליקציות כמו Cloud Run, Cloud Workstations ו-Google App Engine.
הפגיעה העמיקה מיד לשכבת הנתונים. שירותים כמו Cloud SQL, AlloyDB for PostgreSQL ו-Memorystore for Redis הפסיקו לתפקד יחד עם Cloud Spanner, Cloud Firestore ו-BigQuery. כשמוסיפים לכך את קריסת שירותי התשתית של רשתות Virtual Private Cloud, מערכות האחסון Persistent Disk ורכיבי Cloud Load Balancing, התמונה ברורה: ללא שכבות הבסיס הללו שום אפליקציה מודרנית אינה מסוגלת לשרת בקשות משתמשים.
לפי הדיווחים, הפגיעה הגיעה גם לדואר בריטניה ולחברת Equifax, לצד דיווחים דומים שעלו בדיונים בקהילת Hacker News. גוגל הודיעה כעבור כמה שעות על ייצוב אספקת החשמל ותחילת שחזור הדרגתי של השירותים, אך הנזק התפעולי כבר נעשה. הגורם הפיזי המדויק לכשל החשמלי טרם פורסם בדוח רשמי.
אשליה של יתירות רב אזורית
התפיסה ההנדסית המקובלת גורסת שפריסה על פני כמה אזורי משנה באותו מחוז גאוגרפי מספקת שרידות מלאה מפני תקלות חומרה. על הנייר, אם europe-west2-b קורס, התנועה אמורה לעבור בצורה חלקה ל-europe-west2-a או ל-europe-west2-c. בפועל, התלות ההדדית של שירותי רשת, שרתי ניהול, ניתוב תעבורה ומערכי אחסון משותפים שוברת את ההפרדה הזו ברגע של כשל עמוק. מה שמעניין כאן הוא הקלות שבה תלות רוחבית בודדת מוחקת חודשים של תכנון שרידות.
כששירותי ניתוב, מנגנוני אחסון משותף ורשתות VPC נפגעים, הקריסה מחלחלת מעבר לגבולות המבנה הבודד. תלות רוחבית בשירותי ניהול ורשת באותו אזור עלולה לשתק את כל אזורי המשנה בבת אחת. כשערוצי תקשורת כמו צ'אט התמיכה של רבולוט יושבים על אותה תשתית ונפלו יחד עם שירותי התשלומים, הלקוחות נותרו ללא מענה.
עצה שלא שווה הרבה בזמן אמת
בדף הסטטוס הרשמי של Google Cloud פורסמה הנחיה ללקוחות שנפגעו: להעביר עומסים למקום חלופי אם הדבר מתאפשר מבחינתם.
אם זה אפשרי, הלקוח המושפע יכול לנסות להגר את עומסי העבודה שנפגעו למיקום זמין אחר (אזור משנה או מחוז).גוגל, בדף הסטטוס הרשמי
כל מהנדס שמנהל מערכות פרודקשן מורכבות מבין שהמלצה כזו בזמן משבר מנותקת מהמציאות. לדעתי, מדובר בהמלצה תלושה שנועדה בעיקר לפרוטוקול של דף הסטטוס. אי אפשר להגר מסדי נתונים בנקאיים בהיקף של טרה-בייטים, עם תלויות רשת, מפתחות הצפנה ודרישות אבטחה, ברגע של הפסקת חשמל. אם לא הכנתם מראש ארכיטקטורה אקטיבית בין מחוזות שונים, אין שום דרך לבצע הגירה ידנית כשהתקלה כבר בעיצומה.
זה פשוט לא עובד.
מה בודקים כבר מחר בבוקר
התקלה מדגישה את הסיכונים שרגולטורים כמו בנק ישראל מתריעים מפניהם בנוגע להמשכיות עסקית ושרידות של מערכות פיננסיות. ייתכן שגופי רגולציה באירופה ובבריטניה יבחנו סנקציות בעקבות השבתת שירותים חיוניים בהיקף כזה, וצוותים מקומיים צריכים לראות באירוע הזה נורת אזהרה.
כדי לא למצוא את עצמכם במצב דומה, הצעד הראשון הוא מיפוי תלויות מלא: בדקו אילו רכיבים במערכת שלכם באמת מסוגלים לתפקד כשאזור שלם מושבת, וודאו שערוצי תמיכה ועדכון לקוחות פועלים מחוץ לתשתית הראשית שלכם. מחשוב ענן הוא עדיין מחשב של מישהו אחר, וגם שם יש שקע בקיר.
מקורות
- Google cloud outage takes down bankshttps://www.neowin.net/news/google-cloud-outage-takes-down-hsbc-revolut-bank-of-scotland-llyods-equifax-more/
- Google Cloud Outage Takes Down Bankshttps://news.ycombinator.com/item?id=50163961
- Kuberneteshttps://weba.co.il/tools/kubernetes/
- PostgreSQLhttps://weba.co.il/tools/postgresql/
- Redishttps://weba.co.il/tools/redis/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.