انقطاع GitHub في 17 آب: 7 ساعات و47 دقيقة وإخفاق سعة لا كود

في 17 آب تعرّضت GitHub لانقطاع دام 7 ساعات و47 دقيقة وعطّل github.com والمصادقة وGitHub Actions وواجهات API وطلبات الدمج والـ issues وCopilot أمام المطوّرين والمؤسسات حول العالم.

كان ذلك ثاني حادث كبير للشركة في آب، بعد خلل في Actions في 6 آب. وكانت GitHub قد نشرت تحديثات عن الموثوقية في آذار ونيسان؛ وتقول الشركة إن الحوادث الجديدة تُظهر ضرورة تسريع هذا العمل.

ما الذي حدث

خلص التحقيق إلى أن الانقطاع بدأ عندما بلغت حركة المرور ذروة جديدة، وفشل مكوّن بنيوي حرج في مركز البيانات وسط الولايات المتحدة في التوسّع بما يلائمها. وانتشر ضغط السعة في أنظمة GitHub، ما تسبّب في إخفاقات المصادقة وتعطيل عدة خدمات في الوقت نفسه.

تطلّب الاستعادة عدة إجراءات منسّقة: أعادت الفرق توجيه حركة المرور، وعزلت البنية التحتية المتأثرة، وأعادت الخدمات على مراحل. عادت معظم الخدمات في اليوم نفسه، لكن بعض خدمات Copilot تأخّرت؛ إذ أطلقت الأخطاء فيها حلقة إعادة محاولة على جهة العميل زادت حركة المرور أثناء الاستعادة، وكان لا بد من معالجتها قبل إعادة الحركة بأمان. ونُشر الجدول الزمني التقني المفصّل في تحليل السبب الجذري.

سعة لا كود

تقول GitHub إن أيًا من الانقطاعين لم ينتج عن تغيير في الكود أو الإعدادات: كانا كليهما إخفاق سعة، إذ لم تُوسَّع المكوّنات الحرجة قبل أن يتجاوز الطلب قدرتها. ومنذ نيسان ارتفع عدد الـ commits الشهري على المنصة من 1.4 مليار إلى 2.9 مليار. وأضافت الشركة أكثر من 3 ملايين نواة معالجة و120 بيتابايت من التخزين عالي السرعة وسعة شبكية كبيرة، وركّبت أكبر قدر من العتاد سمحت به الطاقة المتاحة مع تسريع انتقالها إلى Azure. وتخدم Azure الآن نحو 58% من حمل المنصة ونصف جميع عمليات Git، مقارنة بـ12% من الحمل في أيار.

العمل المقبل

تتمثل الأولويات في إضافة السعة وتحسين الكفاءة وإزالة الاختناقات المعمارية. والمرحلة التالية هي معمارية توسّع سعة القراءة خطيًا مع عدد القرّاء وتتيح عمليات قراءة غير محدودة، وستُطرح تدريجيًا بدءًا من أكبر مستودعات monorepo. كما تعزل الشركة الأنظمة الحرجة وتزيل التبعيات المشتركة بينها، وتستثمر في اختبارات أقوى ونشر أكثر أمانًا ورصد أفضل وتنبيهات أكثر فعالية.

وأُجري تغييران فوريان بعد حوادث آب: حدود موحّدة لإعادة المحاولات وميزانيات لها ومهلات زمنية متغيرة في التفاعلات بين الخدمات لمنع عواصف إعادة المحاولة والحمل المتسلسل، ومراجعة تنبيهات المعالج والذاكرة منخفضة الأولوية لتحديد المكوّنات التي قد تفشل عند ارتفاع مفاجئ في الحركة.