تقرير GitHub: سياسة Istio سيئة الإعداد وعاصفة إعادة محاولات وراء انقطاع استمر 7 ساعات و47 دقيقة

نشرت GitHub تقريرًا عن الحادثة التي أضرّت بمنصتها في 17 أغسطس 2026. بدأ الاضطراب عند الساعة 13:28 بتوقيت UTC، واستمر 7 ساعات و47 دقيقة، ثم عولج بالكامل عند 21:15 بتوقيت UTC.

ما الذي حدث

صدر أول تحديث علني عند 13:40 بتوقيت UTC، وأعلنت الشركة فيه أنها تحقّق في بلاغات عن تأثر الأداء في عدة خدمات. وعند 13:45 أُبلغ عن معدل خطأ يقارب 20% في Pull Requests وIssues وتجارب أخرى، وأشارت تحديثات لاحقة إلى تدهور في طلبات API وActions وWebhooks وPages. وعند الذروة بلغ معدل الخطأ في حركة الويب وAPI نحو 20%، بينما وصل في تنزيل الأرشيفات والمحتوى الخام للمستودعات إلى نحو 50%. وتأثر أيضًا التحقق عبر SAML وOIDC وSCIM وTeam Sync، إلى جانب مسارات عمل Actions في GitHub Enterprise Cloud مع Data Residency التي تعتمد على تعريفات خطوات منشورة على GitHub.com.

تعافت معظم الخدمات بحلول 16:36 بتوقيت UTC مع تعافي مركز بيانات Central US. أما Actions فبقي متدهورًا حتى نحو 18:03 بتوقيت UTC، وتعافت خدمة Copilot Token Service بالكامل عند 21:02 بتوقيت UTC.

السبب الجذري: تشبّع موازنات الحمل وعاصفة إعادة المحاولات

بحسب GitHub، كان السبب المباشر تشبّع الشبكة في موازنات الحمل بمركز بيانات Central US بسبب ذروة جديدة في الحركة. فقد بلغ أحد حاويات sidecar التابعة لـIstio حدود التوازي لديه ولم يتمكن من التوسع التلقائي بشكل صحيح، لأن إحدى السياسات كانت معدّة لتتابع حدود الخدمة المضيفة دون حدود sidecar. وانتشر العطل على شكل سلسلة حتى استنفدت أربع عُقد HAProxy حدود التدفق لديها، ما أضرّ بمسار المصادقة في البوابة وتسبّب في تأخيرات وأعطال واسعة في المصادقة. وزاد منطق إعادة المحاولة المتفائل الأمور سوءًا بإغراق موازنات الحمل الداخلية، في حين أدى إيقاف HAProxy على تلك العُقد مؤقتًا إلى تعافٍ فوري وواسع.

وأضافت مشكلة ثانية إلى الأولى: فتأخّر الردود من نقطة داخلية واحدة فعّل خللًا كامنًا في إعادة المحاولة داخل VS Code ضاعف حجم الحركة نحو عشر مرات. وارتفعت الطلبات إلى Copilot Token Service من 7 إلى 9 آلاف طلب في الثانية عادةً إلى 70–100 ألف في الثانية. أوقفت الشركة هذه العاصفة بتقليص منطق إعادة المحاولة في البوابة مؤقتًا وبحجب طلبات رموز Copilot الواردة عند موازنات الحمل بردّ 403، ثم أعادت رفع الحركة تدريجيًا موقعًا بعد موقع. كما زادت هجمات الجمع الآلي على نقاط codeload تعقيد التعافي.

ما تعتزم GitHub تغييره

يسرد التقرير خمس خطوات لاحقة: تصحيح سياسات التوسع التلقائي لتراعي توازي sidecar في شبكة الخدمات وقدرتها؛ وتدقيق حدود الطلبات والتوازي والتوسع في Istio عبر الخدمات المتأثرة؛ ومراجعة حدود إعادة المحاولة وسلوك التراجع في البوابات والعملاء؛ ومعالجة سلوك إعادة المحاولة في VS Code الذي ضاعف حركة رموز Copilot؛ وتحسين مراقبة سعة موازنات الحمل إلى جانب ضمانات التحويل بين المناطق.