GitHub'ın 17 Ağustos kesintisi: 7 saat 47 dakika ve kod değil kapasite sorunu

17 Ağustos'ta GitHub, 7 saat 47 dakika süren ve dünya genelinde geliştiriciler ile kuruluşlar için github.com, kimlik doğrulama, GitHub Actions, API'ler, pull request'ler, issue'lar ve Copilot hizmetlerini kesintiye uğratan bir arıza yaşadı.

Bu, şirketin ağustos ayındaki ikinci önemli olayıydı; 6 Ağustos'ta Actions'ta yaşanan arızanın ardından geldi. GitHub mart ve nisan aylarında güvenilirlik çalışmalarına ilişkin güncellemeler yayımlamıştı; şirkete göre yeni olaylar bu çalışmanın hızlandırılması gerektiğini gösteriyor.

Ne oldu

Soruşturma, kesintinin trafiğin yeni bir zirveye ulaştığı sırada başladığını ve ABD'nin Orta Batı veri merkezindeki kritik bir altyapı bileşeninin buna ölçeklenemediğini gösterdi. Oluşan kapasite baskısı GitHub'ın sistemlerine yayıldı; kimlik doğrulama hatalarına yol açtı ve birden fazla hizmeti aynı anda kesintiye uğrattı.

Kurtarma birkaç eşgüdümlü adım gerektirdi: ekipler trafiği yeniden yönlendirdi, etkilenen altyapıyı izole etti ve hizmetleri aşamalı olarak geri getirdi. Hizmetlerin çoğu aynı gün döndü, ancak bazı Copilot hizmetleri daha uzun sürdü; buradaki hatalar istemci tarafında bir yeniden deneme döngüsü tetikledi ve kurtarma sırasında trafiği artırdı, bu davranış trafik güvenle geri alınmadan önce giderilmeliydi. Ayrıntılı teknik zaman çizelgesi kök neden analizinde yayımlandı.

Kapasite, kod değil

GitHub'a göre arızaların hiçbiri bir kod ya da yapılandırma değişikliğinden kaynaklanmadı: ikisi de kapasite yetersizliğiydi; kritik bileşenler, talep kapasitelerini aşmadan önce ölçeklendirilmemişti. Nisandan bu yana platformdaki aylık commit sayısı 1,4 milyardan 2,9 milyara çıktı. Şirket 3 milyondan fazla CPU çekirdeği, 120 petabayt yüksek hızlı depolama ve önemli miktarda ağ kapasitesi ekledi. Bugün Azure, platform yükünün yaklaşık %58'ini ve tüm Git işlemlerinin yarısını karşılıyor; bu oran mayısta platform yükünün %12'siydi.

Önümüzdeki işler

Öncelikler kapasite eklemek, verimliliği artırmak ve mimari darboğazları kaldırmak. Sıradaki hedef, okuma kapasitesini okuyucu sayısıyla doğrusal olarak ölçekleyen ve sınırsız okuma işlemine olanak tanıyan bir mimari; en büyük monorepo'lardan başlanarak aşamalı biçimde devreye alınacak. Şirket ayrıca kritik sistemleri izole ediyor, aralarındaki paylaşılan bağımlılıkları kaldırıyor ve daha güçlü testlere, daha güvenli dağıtımlara, daha iyi gözlemlenebilirliğe ve daha etkili uyarılara yatırım yapıyor.

Ağustos olaylarının ardından iki acil değişiklik yapıldı: yeniden deneme fırtınalarını ve zincirleme yükü önlemek için hizmetler arası etkileşimlerde tutarlı deneme limitleri, deneme bütçeleri ve değişken zaman aşımları, ve ani trafik artışlarında çökebilecek bileşenleri bulmak için düşük öncelikli CPU ve bellek uyarılarının gözden geçirilmesi.