Відключення Google Cloud у Лондоні спричинене помилковим налаштуванням ПЛК

Google Cloud повідомила, що відключення 20 жовтня в зоні доступності europe-west-2-b у Лондоні сталося через помилкове налаштування, яке не дало запуститися аварійним генераторам після збою живлення. Відключення вплинуло на сервіси Lloyds, HSBC, Royal Mail і Revolut. Згодом Google перепрограмувала відповідний контролер і змінила електричну схему майданчика.

Що вийшло з ладу

Об'єкт використовує архітектуру електроживлення 2N із повністю дубльованими шляхами живлення для кожного критичного навантаження, яку підтримує центральний високовольтний генераторний блок під керуванням дубльованого резервного програмованого логічного контролера (ПЛК). Він отримує живлення від двох незалежних мережевих фідерів, які називаються A і B, а також від резервного мережевого підключення, налаштованого для ручного переключення всього кампусу під час обслуговування або аварійних подій.

Google повідомила, що першопричиною став збій у зовнішньому підземному кабелі, який подає живлення на майданчик. Цей кабель підключений до основного фідера A і пошкодився, коли фідер B не працював, оскільки автоматичний вимикач фідера B був фізично відкритий для коригувальних ремонтів після проблем, виявлених під час квартального тесту навантаження генераторів 14 жовтня 2026 року. У результаті основний мережевий фідер A обслуговував усе критичне навантаження, поки вимикач фідера B залишався відкритим.

Чому генератори не запустилися

На майданчику використовуються джерела безперебійного живлення (ДБЖ), які, за словами Google, можуть підтримувати системи протягом п'яти хвилин, якщо зона доступності втратить підключення до мережі. ДБЖ працювали, але конструктивний недолік схеми виявлення напруги та помилкове налаштування ПЛК не дали генераторній установці отримати сигнал автоматичного запуску. Логіка ПЛК показувала, що здорове джерело живлення від мережі доступне, хоча основний і резервний розподільні фідери були знеструмлені, тому вона не подала команду запуску. ДБЖ вичерпали заряд, поки генератори залишалися вимкненими.

Зміни після інциденту

Після відновлення підключення до мережі живлення Google перепрограмувала ПЛК, щоб він не повторив помилку. Компанія відтоді внесла багато змін до електричної схеми europe-west-2-b і повідомляє, що протестувала їх і що всі вони працюють.

Google також перерахувала два пункти дій: покращення комунікацій для пришвидшення сповіщень шляхом розробки автоматизованого механізму від сповіщення до комунікації для інцидентів, що впливають на розташування, та зусилля з розширення результатів тестування на рівні платформи для подій на рівні інфраструктури.

Джерела: The Register