انقطاع Google Cloud في لندن ناتج عن إعداد خاطئ لـ PLC

قالت Google Cloud إن انقطاعاً في 20 أكتوبر في منطقة التوافر europe-west-2-b بلندن حدث لأن إعداداً خاطئاً منع مولدات الطوارئ من البدء بعد انقطاع كهرباء. وأثر الانقطاع على خدمات Lloyds و HSBC و Royal Mail و Revolut. وأعادت Google لاحقاً برمجة وحدة التحكم المتأثرة وغيّرت الإعداد الكهربائي للموقع.

ما الذي فشل

يستخدم المرفق معمارية طاقة مرافق 2N مع مسارات طاقة مكررة بالكامل لكل حمل حرج، مدعومة ببنك مولدات مركزي عالي الجهد تديره وحدة تحكم منطقية قابلة للبرمجة (PLC) مزدوجة التكرار. ويستقبل الطاقة من مغذيّي مرافق مستقلّين، يُسمّيان A و B، إضافة إلى اتصال مرافق احتياطي مُهيأ لنقل يدوي على مستوى الحرم خلال أعمال الصيانة أو الأحداث الطارئة.

قالت Google إن السبب الجذري كان فشلاً في كابل أرضي خارجي يجلب الطاقة إلى الموقع. ويرتبط هذا الكابل بالمغذي الأساسي A وانقطع بينما لم يكن المغذي B يعمل، لأن قاطع الدائرة للمغذي B كان مفتوحاً فعلياً لأعمال إصلاح تصحيحية بعد مشكلات حُدّدت خلال اختبار تحميل مولد ربع سنوي في 14 أكتوبر 2026. ونتيجة لذلك، كان المغذي الأساسي للمرافق A يدعم إجمالي الحمولة الحرجة بينما بقي قاطع المغذي B مفتوحاً.

لماذا لم تبدأ المولدات

يستخدم الموقع مصادر طاقة غير منقطعة (UPS) قالت Google إنها يمكن أن تبقي الأنظمة تعمل لمدة خمس دقائق إذا فقدت منطقة التوافر اتصالها بالشبكة. وعملت وحدات UPS، لكن عيب تصميم في استشعار الجهد وإعداد PLC خاطئاً منعا محطة المولدات من تلقي إشارة بدء تلقائية. وأظهر منطق PLC أن مصدراً سليماً للمرافق كان متوفراً على الرغم من أن مغذيّي التوزيع الأساسي والثانوي كانا غير مُغذّين بالطاقة، لذلك لم تصدر أمر بدء. ثم نفدت طاقة وحدات UPS بينما بقيت المولدات متوقفة.

التغييرات بعد الحادث

بعد إعادة الاتصال بمرفق الطاقة، أعادت Google برمجة PLC حتى لا تكرر الخطأ. ومنذ ذلك الحين أجرت الشركة تغييرات كثيرة على الإعداد الكهربائي في europe-west-2-b وتقول إنها اختبرتها وأن جميعها تعمل.

كما أدرجت Google بندين للعمل: تحسين اتصالات لتعزيز سرعة الإشعار عبر تطوير آلية تلقائية من تنبيه إلى اتصال للحوادث التي تؤثر على الموقع، وجهد لتوسيع نتائج الاختبار على مستوى المنصة لأحداث على مستوى البنية التحتية.

المصادر: The Register