הפסקה ב-Google Cloud בלונדון נגרמה מתצורת PLC שגויה

Google Cloud אומרת כי הפסקה ב-20 באוקטובר באזור הזמינות europe-west-2-b בלונדון אירעה משום שתצורה שגויה מנעה מהגנרטורים לגיבוי להתניע לאחר נפילת חשמל. ההפסקה פגעה בשירותים ב-Lloyds, HSBC, Royal Mail ו-Revolut. Google מאוחר יותר תכנתה מחדש את הבקר שנפגע ושינתה את מערך החשמל באתר.

מה נכשל

המתקן משתמש בארכיטקטורת חשמל שירותים 2N עם נתיבי חשמל כפולים לחלוטין לכל עומס קריטי, בגיבוי של מאגר גנרטורים מרכזי במתח גבוה המנוהל על ידי בקר לוגי ניתן לתכנות (PLC) בעל יתירות כפולה. הוא מקבל חשמל משני מזינים שירותיים בלתי תלויים, הנקראים A ו-B, וכן מחיבור שירותים גיבוי שהוגדר להעברה ידנית של כל הקמפוס במהלך תחזוקה או אירועי חירום.

Google אומרת כי הגורם השורשי היה כשל בכבל תת-קרקעי חיצוני המביא חשמל לאתר. הכבל הזה מתחבר למזין ראשי A ונשבר כאשר מזין B לא עבד, משום שמפסק המזין B נפתח פיזית לצורך תיקונים מתקנים לאחר בעיות שזוהו במבחן עומס גנרטורים רבעוני ב-14 באוקטובר 2026. כתוצאה מכך, מזין החשמל הראשי A נשא בכל העומס הקריטי בזמן שמפסק המזין B נותר פתוח.

מדוע הגנרטורים לא התניעו

האתר משתמש בספקי כוח בלתי מופסקים (UPS) אשר לפי Google יכולים להשאיר מערכות פועלות במשך חמש דקות אם אזור הזמינות מאבד את חיבורו לרשת. ה-UPS עבדו, אך פגם בתכנון חישת מתח ותצורת PLC שגויה מנעו ממפעל הגנרטורים לקבל אות התנעה אוטומטי. לוגיקת PLC הצביעה על כך שמקור שירותים תקין זמין אף שמזיני החלוקה הראשי והמשני היו מנותקים מאנרגיה, ולכן היא לא הוציאה פקודת התנעה. לאחר מכן נגמר החשמל ל-UPS בעוד הגנרטורים נותרו כבויים.

שינויים לאחר התקרית

לאחר חיבור מחדש לספק החשמל שלה, Google תכנתה מחדש את ה-PLC כדי שלא יחזור על הטעות. החברה ביצעה מאז שינויים רבים במערך החשמל ב-europe-west-2-b ואומרת כי בחנה אותם וכולם עובדים.

Google גם פירטה שני פריטי פעולה: שיפור תקשורת לחיזוק מהירות ההודעה על ידי פיתוח מנגנון אוטומטי מהתראה לתקשורת עבור אירועים המשפיעים על מיקום, ומאמץ להרחיב תוצאות בדיקה כלל-פלטפורמיות עבור אירועים ברמת התשתית.

מקורות: The Register