AI-სკრაპერები kernel.org-ის სიმძლავრის ~20%-ს იკავებენ

14 ბირთვი მუდმივად git-კომიტების რენდერითაა დაკავებული

კონსტანტინ რიაბიცევმა, რომელიც kernel.org-ის ინფრასტრუქტურას უძღვება, გამოაქვეყნა კონკრეტული ციფრები იმის შესახებ, თუ რა უჯდება git.kernel.org-ს AI-სქრაპერები. ხუთ გეოგრაფიულად განაწილებულ კვანძზე ნებისმიერ მომენტში 14 ბირთვი მხოლოდ git-კომიტების HTML-ად რენდერითაა დაკავებული. მისი ფორმულირებით, საიტი სქრაპერებისთვის შედეგის გამომუშავებას უფრო მეტ CPU ციკლს ახმარს, ვიდრე ყველა სხვა ლეგიტიმურ მოთხოვნას ერთად, git-კლონების ჩათვლით.

ეს დატვირთვის მწვერვალი არ არის, არამედ მუდმივი „ფონური რადიაცია“ — სიმძლავრის ის ნაწილი, რომელიც მხოლოდ ერთი მიზნისთვის სასარგებლო შედეგს აწარმოებს: სასწავლო მოდელის კვებას.

რატომ არის kernel.org სქრაპერებისთვის საინტერესო

Linux-ის განვითარება ღიად მიმდინარეობს. კლონირებადია როგორც git-რეპოზიტორიები, ისე საფოსტო სიების არქივები, ხოლო შიგთავსი გარანტირებულად თავისუფალია მანქანურად გენერირებული ტექსტისგან — უჩვეულოდ სუფთა კორპუსი მოდელების გასაწვრთნელად. რიაბიცევი მოდელის მიერ მოდელის შედეგზე წვრთნას „ციფრულ პრიონულ დაავადებას“ ადარებს — სწორედ ამიტომ არის არქივი, რომლის მთელი ისტორია დიდ ენობრივ მოდელებზე ადრეა შექმნილი, განსაკუთრებით ღირებული.

მიუხედავად ამისა, სქრაპერები ეფექტურ გზას არ ირჩევენ. linux.git-ის კლონირების ნაცვლად — დაახლოებით 1,48 მილიონი კომიტი, სერვერზე დაახლოებით 922 fork-ით — ისინი ყოველ კომიტს ცალკე HTML გვერდად რენდერებენ და შემდეგ ამუშავებენ. ვინაიდან cgit პაჩებს, სუფთა რენდერებსა და თვითნებურ კომიტებს შორის diff-ებსაც აწარმოებს, ერთი fork-იც კი ვალიდური URL-ების ასტრონომიულ რაოდენობას ქმნის, ასეულ fork-ებთან ერთად კი მისამართების სივრცე მილიარდებს აღწევს.

fail2ban-იდან proof-of-work-ამდე

ბლოკირება fail2ban-ითა და user-agent-ის შემოწმებით დაიწყო, შემდეგ IP-ებზე, მერე კი მთლიან ASN-ებზე გადავიდა, რადგან ბოტებმა ჩვეულებრივი ბრაუზერების სახით წარდგომა დაიწყეს. ეს მიდგომა მაშინ ჩამოიშალა, როცა ქროლერები მილიონობით რეზიდენციული და მობილური მისამართიდან მოკლე აფეთქებებით მოვიდნენ — ეს პროქსი SDK-ების შედეგია, რომლებიც საყოფაცხოვრებო მოწყობილობებში, მაგალითად ჭკვიან ტელევიზორებში, მუშაობს.

შემდეგი დაცვის ხაზი Anubis გახდა — proof-of-work გამოწვევა, რომელიც კლიენტს წინასწარ განსაზღვრული რაოდენობის წამყვანი ნულის მქონე ჰეშის გამოთვლას ავალდებულებს. ის მაშინვე ეფექტური აღმოჩნდა, თუმცა რამდენიმე თვეში ბოტებმა სირთულე 4-ის ამოცანების ამოხსნა დაიწყეს; 5-მდე აწევამ კიდევ რამდენიმე თვე მოიგო და დღეს ისინიც იხსნება. ფასს ლეგიტიმური მომხმარებლები იხდიან: მობილურ მოწყობილობაზე გამოთვლა წამებს ართმევს და აპარატი შესამჩნევად თბება.

ლეგიტიმური ტრაფიკი დაახლოებით 2%-ია

დღეს git.kernel.org დღეში დაახლოებით ექვს მილიონ მოთხოვნას იღებს შემთხვევითი კომიტების სანახავად. მათგან დაახლოებით 66% Anubis-ის გამოწვევით უკან იბრუნება, 33% კი მათემატიკურ ამოცანას ხსნის და მთავარ საიტამდე აღწევს. ხელსაყრელი დაშვებებით, ლეგიტიმური მოთხოვნები ტრაფიკის მხოლოდ დაახლოებით 2%-ია. ხუთ კვანძზე არსებული 90 ბირთვიდან 14–16 სქრაპერებისთვის კომიტებს რენდერებს — საშუალოდ მთლიანი სიმძლავრის დაახლოებით 20%, თუმცა რეალური დატვირთვა ტალღებად მოდის და გაცილებით მკვეთრია.

პროექტის პასუხია ფუნქციების გამორთვა, რათა შემცირდეს დასქრაპავი URL-ების რაოდენობა და შეიზღუდოს ძვირადღირებული ოპერაციები — ამიტომ ანონიმურ მომხმარებლებს ნაწილი ფუნქციონალის დაკარგვა მოუწევთ. სრული მონაცემები კვლავ ხელმისაწვდომი დარჩება ჩამოტვირთვისთვის, ოღონდ მეტი ნაბიჯის გავლით.