Google Cloud-ის გათიშვა ლონდონში PLC-ის არასწორი კონფიგურაციის გამო მოხდა

Google Cloud-ის განცხადებით, 20 ოქტომბერს ლონდონის europe-west-2-b ხელმისაწვდომობის ზონაში მომხდარი გათიშვა არასწორი კონფიგურაციის გამო მოხდა: ელექტროენერგიის შეწყვეტის შემდეგ საგანგებო გენერატორები ვერ ამუშავდნენ. გათიშვამ Lloyds-ის, HSBC-ის, Royal Mail-ისა და Revolut-ის სერვისებზე იმოქმედა. მოგვიანებით Google-მა დაზარალებული კონტროლერი გადაპროგრამა და ობიექტის ელექტრომომარაგების სქემა შეცვალა.

რა ვერ იმუშავა

ობიექტი იყენებს 2N ელექტრომომარაგების არქიტექტურას, რომელშიც ყველა კრიტიკული დატვირთვისთვის სრულად დუბლირებული კვების ბილიკებია. მის უკან ცენტრალური მაღალი ძაბვის გენერატორთა ბანკი დგას, რომელსაც ორმაგად რეზერვირებული პროგრამირებადი ლოგიკური კონტროლერი (PLC) მართავს. ელექტროენერგიას იღებს ორი დამოუკიდებელი ელექტროქსელური ფიდერიდან, სახელწოდებით A და B, ასევე სარეზერვო ელექტროქსელური კავშირიდან, რომელიც ტექნიკური მომსახურების ან საგანგებო სიტუაციების დროს მთელი კამპუსის ხელით გადართვას ითვალისწინებს.

Google-ის თქმით, ძირეული მიზეზი ობიექტამდე ელექტროენერგიის მიმყვანი გარე მიწისქვეშა კაბელის დაზიანება იყო. ეს კაბელი მთავარ ფიდერ A-ს უკავშირდება და გაწყდა მაშინ, როცა ფიდერი B არ მუშაობდა, ვინაიდან ფიდერ B-ის ამომრთველი ფიზიკურად გახსნილი იყო ხარვეზების გამოსასწორებლად; ეს ხარვეზები 2026 წლის 14 ოქტომბერს გენერატორის კვარტალური დატვირთვის ტესტის დროს გამოვლინდა. შედეგად, ძირითადი ელექტროქსელური ფიდერი A მთელ კრიტიკულ დატვირთვას უზრუნველყოფდა, ხოლო ფიდერ B-ის ამომრთველი ღია რჩებოდა.

რატომ არ ამუშავდნენ გენერატორები

ობიექტი იყენებს უწყვეტი კვების წყაროებს (UPS), რომლებიც, Google-ის თქმით, სისტემებს ხუთი წუთის განმავლობაში ამუშავებენ, თუ ხელმისაწვდომობის ზონა ელექტროქსელთან კავშირს დაკარგავს. UPS-ები მუშაობდნენ, თუმცა ძაბვის აღქმის დიზაინის ხარვეზისა და PLC-ის არასწორი კონფიგურაციის გამო გენერატორთა სადგური ავტომატურ ჩართვის სიგნალს ვერ იღებდა. PLC-ის ლოგიკა ჩვენებდა, რომ ელექტროქსელის სამუშაო წყარო ხელმისაწვდომია, თუმცა პირველადი და მეორადი განაწილების ფიდერები ენერგიის გარეშე იყვნენ, ამიტომ ჩართვის ბრძანება არ მისცა. UPS-ებს ენერგია ამოეწურათ, გენერატორები კი კვლავ გამორთული იყო.

ცვლილებები ინციდენტის შემდეგ

ელექტროქსელთან ხელახლა დაკავშირების შემდეგ Google-მა PLC-ი გადაპროგრამა, რათა შეცდომა აღარ განმეორებულიყო. მას შემდეგ კომპანიამ მრავალი ცვლილება შეიტანა europe-west-2-b-ის ელექტრომომარაგების სისტემაში და აცხადებს, რომ ისინი გამოსცადა და ყველა მუშაობს.

Google-მა ასევე ჩამოთვალა ორი სამოქმედო პუნქტი: კომუნიკაციის გაუმჯობესება, რათა გაიზარდოს შეტყობინებების სისწრაფე ლოკაციაზე გავლენის მქონე ინციდენტების დროს, ავტომატური მექანიზმის შემუშავებით, რომელიც გაფრთხილებებს კომუნიკაციად გარდაქმნის, და ძალისხმევა, რათა გაფართოვდეს პლატფორმის მასშტაბით ტესტირების შედეგები ინფრასტრუქტურის დონის მოვლენებისთვის.

წყაროები: The Register