AI skreperləri git.kernel.org tutumunun təxminən 20%-ni tutur

14 nüvə daim git commit-lərini render edir

kernel.org infrastrukturunu idarə edən Konstantin Ryabitsev süni intellekt skreperlərinin git.kernel.org-a nə qədər başa gəldiyi barədə konkret rəqəmlər dərc edib. Coğrafi cəhətdən paylanmış beş düyündə istənilən anda 14 CPU nüvəsi yalnız git commit-lərini HTML kimi render etməklə məşğuldur. Onun ifadəsi ilə desək, sayt skreperlərə nəticə vermək üçün git klonları da daxil olmaqla bütün digər qanuni müraciət növlərinin birlikdə tələb etdiyindən daha çox CPU dövrü sərf edir.

Bu yük pik deyil, daimi "fon radiasiyasıdır": tutumun yalnız bir məqsədə — öyrədilən modeli qidalandırmağa xidmət edən sabit payı.

kernel.org skreperlər üçün niyə maraqlıdır

Linux inkişafı açıq şəkildə gedir. Həm git repozitoriyaları, həm də poçt siyahısı arxivləri klonlana bilər və məzmunun maşın istehsalı mətndən azad olması təmin olunur — təlim üçün qeyri-adi dərəcədə təmiz korpus. Ryabitsev modelin model nəticəsi üzərində öyrədilməsini "rəqəmsal prion xəstəliyi" ilə müqayisə edir; buna görə bütün tarixi böyük dil modellərindən əvvələ aid arxiv xüsusilə dəyərlidir.

Buna baxmayaraq skreperlər səmərəli yolu saymır. linux.git-i klonlamaq əvəzinə — təxminən 1,48 milyon commit və serverdə yerləşən təqribən 922 fork — hər commit-i ayrı HTML səhifə kimi render edib nəticəni təhlil edirlər. cgit həmçinin patch-lar, sadə renderlər və ixtiyari commit-lər arasında diff-lər təqdim etdiyi üçün bir fork belə astronomik sayda keçərli URL yaradır; yüzlərlə forkla ünvan məkanı milyardlara çatır.

fail2ban-dan proof-of-work-ə

Bloklama fail2ban və user-agent yoxlaması ilə başladı, botlar adi brauzerlər kimi görünməyə başlayanda IP, sonra bütöv ASN üzrə qadağalara keçdi və kraulerlər milyonlarla yaşayış və mobil ünvandan qısa partlayışlarla gəlməyə başlayanda çökdü — bu, smart televizorlar kimi istehlak cihazlarına yerləşdirilmiş proxy SDK-larının nəticəsidir.

Növbəti müdafiə xətti Anubis oldu: müştəridən müəyyən sayda baş sıfıra malik heş hesablamağı tələb edən proof-of-work çağırışı. Dərhal işlədi, lakin bir neçə ay sonra botlar 4-cü çətinlik səviyyəsini həll etməyə başladılar; 5-ə qaldırmaq daha bir neçə ay qazandırdı və bu gün onu da həll edirlər. Qiyməti qanuni istifadəçilər ödəyir: telefonda bir neçə saniyəlik hesablama və bunun nəticəsində nəzərəçarpan istilik.

Qanuni trafik təxminən 2%

Bu gün git.kernel.org gündə təxminən altı milyon sorğu alır və hamısı təsadüfi commit-ləri görmək istəyir. Onların təxminən 66%-i Anubis çağırışı ilə geri qaytarılır, 33%-i isə riyaziyyatı həll edib əsas sayta çatır. Səxavətli fərziyyələrlə qanuni sorğular trafikin yalnız təxminən 2%-ni təşkil edir. Beş düyündəki 90 nüvədən 14–16-sı skreperlər üçün commit render edir — orta hesabla ümumi tutumun təxminən 20%-i, lakin real qrafik dalğalarla gəlir və düz xəttdən qat-qat iti olur.

Layihənin cavabı skreyplənə bilən URL-lərin sayını azaltmaq və bahalı əməliyyatları məhdudlaşdırmaq üçün funksiyaları söndürməkdir, ona görə anonim ziyarətçilər funksionallığın bir hissəsini itirməyi gözləməlidir. Bütün məlumatlar istəyən hər kəs üçün endirilə bilən qalacaq — sadəcə daha çox addımdan keçməklə. Ryabitsev qeyd edir ki, yeni model təchizatçıları və monetizasiya olunmuş proxy şəbəkələri meydana çıxdıqca sadə həll yolu yoxdur.