AI tarayıcılar git.kernel.org kapasitesinin beşte birini tüketiyor

14 çekirdek sürekli git commit'i işliyor

kernel.org altyapısını yürüten Konstantin Ryabitsev, yapay zekâ tarayıcılarının git.kernel.org'a maliyeti konusunda somut sayılar yayımladı. Coğrafi olarak dağıtılmış beş düğümde, her an 14 CPU çekirdeği yalnızca git commit'lerini HTML olarak işlemekle meşgul. Onun ifadesiyle site, tarayıcılara çıktı üretmek için git klonları dahil diğer tüm meşru erişim türlerinin toplamından daha fazla CPU çevrimi harcıyor.

Bu bir yük zirvesi değil, kalıcı bir "arka plan radyasyonu": kapasitenin tek bir amaca hizmet eden çıktıya ayrılmış sabit bir payı — bir öğrenme modelini beslemek.

kernel.org tarayıcılar için neden ilginç

Linux geliştirmesi açıkta yürür. Hem git depoları hem e-posta listesi arşivleri klonlanabilir ve içeriğin makine üretimi metinden arınmış olması garanti edilir — eğitim için alışılmadık ölçüde temiz bir külliyat. Ryabitsev, bir modelin model çıktısıyla eğitilmesini "dijital prion hastalığı"na benzetiyor; bu yüzden tüm geçmişi büyük dil modellerinden önceye dayanan bir arşiv özellikle değerli.

Buna karşın tarayıcılar verimli yolu görmezden geliyor. linux.git'i klonlamak yerine — yaklaşık 1,48 milyon commit ve sunucuda barındırılan yaklaşık 922 çatal — her commit'i ayrı bir HTML sayfası olarak işleyip sonucu ayrıştırıyorlar. cgit ayrıca yamalar, düz görünümler ve rastgele commit'ler arası diff'ler sunduğu için tek bir çatal bile astronomik sayıda geçerli URL üretiyor; yüzlerce çatalda adres uzayı milyarlara ulaşıyor.

fail2ban'dan proof-of-work'e

Engelleme fail2ban ve user-agent denetimiyle başladı; botlar sıradan tarayıcı taklidi yapmaya başlayınca IP, ardından tüm ASN bazlı yasaklara geçti ve tarayıcılar milyonlarca konut ve mobil adresten kısa patlamalarla gelmeye başlayınca çöktü — akıllı televizyonlar gibi tüketici cihazlarına gömülü proxy SDK'larının yol açtığı bir düzen.

Bir sonraki savunma hattı Anubis oldu: istemciden belirli sayıda baştaki sıfıra sahip bir hash hesaplamasını isteyen proof-of-work görevi. Hemen işe yaradı, ancak birkaç ay sonra botlar zorluk derecesi 4'ü çözmeye başladı; 5'e çıkarmak birkaç ay daha kazandırdı ve bugün onu da çözüyorlar. Bedeli meşru kullanıcılar ödüyor: telefonda birkaç saniyelik hesaplama ve bunun sonucunda rahatsız edici biçimde ısınan bir cihaz.

Meşru trafik yaklaşık %2

Bugün git.kernel.org günde yaklaşık altı milyon istek alıyor; hepsi rastgele commit'leri görmek istiyor. Bunların yaklaşık %66'sı Anubis göreviyle geri çevriliyor, %33'ü ise matematiği çözüp ana siteye ulaşıyor. Cömert varsayımlarla meşru istekler trafiğin yalnızca %2'si kadar. Beş düğümdeki 90 çekirdeğin 14–16'sı tarayıcılar için commit işliyor — ortalama olarak toplam kapasitenin yaklaşık %20'si; gerçek grafik ise dalgalar halinde geliyor ve düz bir çizgiden çok daha dik.

Projenin yanıtı, taranabilir URL sayısını azaltmak ve işletmesi pahalı işlemleri sınırlamak için özellikleri kapatmak; bu yüzden anonim ziyaretçiler bazı işlevleri kaybetmeyi beklemeli. Tüm veriler talep eden herkes için indirilebilir kalacak — yalnızca daha fazla adımdan geçmek gerekecek. Ryabitsev, yeni model sağlayıcıları ve ticarileşmiş proxy ağları ortaya çıkmaya devam ettikçe basit bir çözüm bulunmadığını belirtiyor.