GitHub raporu: hatalı Istio politikası ve yeniden deneme fırtınası 7 saat 47 dakikalık kesintinin arkasında

GitHub, 17 Ağustos 2026'da platformunun hizmet kalitesini bozan olaya ilişkin raporunu yayımladı. Kesinti 13:28 UTC'de başladı, 7 saat 47 dakika sürdü ve 21:15 UTC itibarıyla tamamen giderildi.

Ne oldu

İlk kamuya açık güncelleme 13:40 UTC'de yayımlandı ve şirket birkaç hizmette performans sorunu bildirimlerini incelediğini duyurdu. 13:45'te Pull Requests, Issues ve diğer deneyimlerde yaklaşık %20 hata oranı bildirildi; sonraki güncellemeler API istekleri, Actions, Webhooks ve Pages'te bozulmaya işaret etti. Zirvede web ve API trafiğindeki hata oranı yaklaşık %20'ye, arşiv ve ham depo içeriği indirmelerinde ise yaklaşık %50'ye ulaştı. SAML ve OIDC kimlik doğrulaması, SCIM ve Team Sync de etkilendi; buna GitHub.com üzerinde barındırılan genel iş akışı adım tanımlarına bağlı olan Data Residency'li GitHub Enterprise Cloud Actions iş akışları da eklendi.

Çoğu hizmet, Central US veri merkezinin toparlanmasıyla 16:36 UTC'de normale döndü. Actions yaklaşık 18:03 UTC'ye kadar bozuk kaldı, Copilot Token Service ise 21:02 UTC'de tamamen toparlandı.

Kök neden: yük dengeleyici doygunluğu ve yeniden deneme fırtınası

GitHub'a göre doğrudan neden, yeni bir trafik zirvesiyle Central US veri merkezindeki yük dengeleyicilerde oluşan ağ doygunluğuydu. Bir Istio sidecar pod'u eşzamanlılık sınırına ulaştı ve otomatik ölçeklenemedi; çünkü bir politika, ana hizmetin sınırlarını izleyecek ama sidecar sınırlarını izlemeyecek şekilde hatalı yapılandırılmıştı. Arıza zincirleme yayıldı ve dört HAProxy düğümü akış sınırlarını tüketerek gateway kimlik doğrulama yolunu bozdu, geniş çaplı kimlik doğrulama gecikmelerine ve hatalarına yol açtı. İyimser yeniden deneme mantığı iç yük dengeleyicileri aşırı yükleyerek durumu kötüleştirdi; bu düğümlerde HAProxy'nin duraklatılması ise anında ve geniş bir toparlanma sağladı.

İkinci bir sorun birincisine eklendi: tek bir iç uç noktadan gelen gecikmeli yanıtlar VS Code'daki gizli bir yeniden deneme hatasını tetikledi ve trafiği yaklaşık on kat artırdı. Copilot Token Service'e yönelik istekler normalde saniyede 7–9 binden 70–100 bine çıktı. GitHub bu fırtınayı, gateway yeniden deneme mantığını geçici olarak azaltarak ve yük dengeleyicilerde gelen Copilot token isteklerini 403 yanıtıyla engelleyerek durdurdu; ardından trafiği site site kademeli olarak geri açtı. codeload uç noktalarına yönelik kazıma saldırıları da toparlanmayı zorlaştırdı.

GitHub neyi değiştirecek

Rapor beş takip adımı sıralıyor: otomatik ölçekleme politikalarının servis ağı sidecar eşzamanlılığını ve kapasitesini hesaba katacak şekilde düzeltilmesi; etkilenen hizmetlerde Istio istek, eşzamanlılık ve ölçekleme sınırlarının denetlenmesi; gateway ve istemcilerdeki yeniden deneme sınırları ile geri çekilme davranışının gözden geçirilmesi; Copilot token trafiğini büyüten VS Code yeniden deneme davranışının giderilmesi; ve yük dengeleyici kapasite izlemenin bölgesel yedekleme güvenceleriyle birlikte iyileştirilmesi.