GitHub raporu: səhv Istio siyasəti və təkrar cəhdlər fırtınası 7 saat 47 dəqiqəlik nasazlığın arxasında

GitHub 17 avqust 2026-cı ildə platformasının işini pozan hadisə barədə hesabat dərc edib. Nasazlıq 13:28 UTC-də başladı, 7 saat 47 dəqiqə davam etdi və 21:15 UTC-də tam aradan qaldırıldı.

Nə baş verdi

İlk ictimai yeniləmə 13:40 UTC-də yayımlandı: şirkət bir neçə xidmətdə performans problemləri barədə məlumatları araşdırdığını bildirdi. 13:45-də Pull Requests, Issues və digər bölmələrdə təxminən 20% səhv dərəcəsi qeyd edildi, sonrakı yeniləmələr isə API sorğularında, Actions, Webhooks və Pages-də problemlərə işarə etdi. Pik həddində veb və API trafikində səhv dərəcəsi təqribən 20%-ə, arxivlərin və repozitoriyaların xam məzmununun yüklənməsində isə təqribən 50%-ə çatdı. SAML və OIDC autentifikasiyası, SCIM və Team Sync də təsirləndi; buna GitHub.com-da yerləşən ictimai iş axını addımlarından asılı olan Data Residency-li GitHub Enterprise Cloud Actions iş axınları da əlavə olundu.

Xidmətlərin əksəriyyəti Central US data mərkəzinin bərpası ilə 16:36 UTC-də özünə gəldi. Actions təqribən 18:03 UTC-yə qədər nasaz qaldı, Copilot Token Service isə 21:02 UTC-də tam bərpa olundu.

Əsas səbəb: balanslaşdırıcıların doyması və təkrar cəhdlər fırtınası

GitHub-a görə, bilavasitə səbəb trafikin yeni pik həddi səbəbindən Central US data mərkəzindəki yük balanslaşdırıcılarında şəbəkə doyması idi. Istio sidecar pod-u paralellik həddinə çatdı və avtomatik miqyaslana bilmədi, çünki siyasət host xidmətinin limitlərini izləyəcək, sidecar limitlərini isə izləməyəcək şəkildə səhv konfiqurasiya edilmişdi. Nasazlıq kaskad şəklində yayıldı və dörd HAProxy qovşağı axın limitlərini tükədərək gateway autentifikasiya yolunu zədələdi, geniş yayılmış autentifikasiya gecikmələri və uğursuzluqlarına səbəb oldu. Optimist təkrar cəhd məntiqi daxili balanslaşdırıcıları həddindən artıq yükləyərək vəziyyəti pisləşdirdi; həmin qovşaqlarda HAProxy-nin dayandırılması isə dərhal və geniş bərpaya səbəb oldu.

İkinci problem birincisinə əlavə olundu: bir daxili endpoint-dən gecikmiş cavablar VS Code-dakı gizli təkrar cəhd xətasını işə saldı və trafiki təxminən on dəfə artırdı. Copilot Token Service-ə sorğular normal saniyədə 7–9 mindən saniyədə 70–100 minə yüksəldi. Şirkət bu fırtınanı gateway təkrar cəhd məntiqini müvəqqəti azaltmaqla və balanslaşdırıcılarda daxil olan Copilot token sorğularını 403 cavabı ilə bloklamaqla dayandırdı, sonra trafiki sayt-sayt tədricən bərpa etdi. codeload endpoint-lərinə edilən scraping hücumları da bərpanı çətinləşdirdi.

GitHub nəyi dəyişəcək

Hesabat beş sonrakı addımı sadalayır: avtomatik miqyaslama siyasətlərinin servis şəbəkəsi sidecar-ının paralelliyini və gücünü nəzərə alacaq şəkildə düzəldilməsi; təsirlənmiş xidmətlərdə Istio sorğu, paralellik və miqyaslama limitlərinin auditi; gateway-lərdə və klientlərdə təkrar cəhd limitlərinin və geri çəkilmə davranışının yenidən nəzərdən keçirilməsi; Copilot token trafikini artıran VS Code təkrar cəhd davranışının aradan qaldırılması; və yük balanslaşdırıcı tutum monitorinqinin regional failover tədbirləri ilə birlikdə yaxşılaşdırılması.