Google Cloud Londra kesintisi: PLC yanlış yapılandırması

Google Cloud, Londra'daki europe-west-2-b kullanılabilirlik bölgesindeki 20 Ekim kesintisinin, elektrik arızasından sonra acil jeneratörlerin devreye girmesini engelleyen bir yanlış yapılandırma nedeniyle yaşandığını söyledi. Kesinti Lloyds, HSBC, Royal Mail ve Revolut hizmetlerini etkiledi. Google daha sonra etkilenen denetleyiciyi yeniden programladı ve sahanın elektrik düzenini değiştirdi.

Ne arızalandı

Tesis, her kritik yük için tamamen yedekli güç yollarına sahip 2N şebeke gücü mimarisi kullanıyor; bunu da ikili yedekli Programlanabilir Mantık Denetleyicisi (PLC) tarafından yönetilen merkezi bir yüksek gerilim jeneratör bankası destekliyor. Saha, A ve B olarak adlandırılan iki bağımsız şebeke beslemesinden, ayrıca bakım veya acil durum olaylarında kampüs genelinde manuel aktarım için yapılandırılmış bir yedek şebeke bağlantısından güç alıyor.

Google, kök nedenin sahaya güç getiren harici bir yeraltı kablosundaki arıza olduğunu söyledi. Bu kablo birincil besleme A'ya bağlanıyor ve besleme B çalışmadığı için koptu; çünkü devre kesici besleme B, 14 Ekim 2026 tarihli üç aylık jeneratör yük testinde tespit edilen sorunların ardından düzeltici onarımlar için fiziksel olarak açılmıştı. Sonuç olarak birincil şebeke beslemesi A, besleme B devre kesicisi açık kalırken toplam kritik yükü destekliyordu.

Jeneratörler neden devreye girmedi

Saha, Google'ın kullanılabilirlik bölgesi şebeke bağlantısını kaybetmesi durumunda sistemleri beş dakika çalıştırabileceğini söylediği kesintisiz güç kaynakları (UPS) kullanıyor. UPS'ler çalıştı; ancak bir gerilim algılama tasarım hatası ve PLC yanlış yapılandırması, jeneratör tesisinin otomatik başlatma sinyali almasını engelledi. PLC mantığı, birincil ve ikincil dağıtım beslemeleri enerjisiz olmasına rağmen sağlıklı bir şebeke kaynağı bulunduğunu gösterdi; bu nedenle başlatma komutu vermedi. UPS'ler daha sonra jeneratörler kapalıyken enerjisi tükendi.

Olaydan sonraki değişiklikler

Şebeke gücüne yeniden bağlandıktan sonra Google, aynı hatayı tekrarlamaması için PLC'yi yeniden programladı. Şirket o zamandan beri europe-west-2-b'deki elektrik düzeninde birçok değişiklik yaptı ve bunları test ettiğini, hepsinin çalıştığını söyledi.

Google ayrıca iki eylem maddesi sıraladı: konum etkileyen olaylar için otomatik bir uyarıdan iletişime mekanizma geliştirerek bildirim hızını güçlendiren bir iletişim iyileştirmesi ve altyapı düzeyindeki olaylar için platform genelinde test sonuçlarını genişletme çabası.

Kaynaklar: The Register