AI-սկրեյպերները զբաղեցնում են git.kernel.org-ի հզորության մոտ 20%-ը

14 միջուկ անընդհատ ռենդերում են git-կոմիտները

Կոնստանտին Ռյաբիցևը, որը ղեկավարում է kernel.org-ի ենթակառուցվածքը, հրապարակել է կոնկրետ թվեր այն մասին, թե ինչ արժեն AI-սկրեյպերները git.kernel.org-ի համար։ Աշխարհագրորեն բաշխված հինգ հանգույցներում ցանկացած պահի 14 միջուկ զբաղված են բացառապես git-կոմիտները HTML-ի տեսքով ռենդերելով։ Նրա ձևակերպմամբ՝ կայքը սկրեյպերներին արդյունք տալու վրա ավելի շատ CPU ցիկլ է ծախսում, քան բոլոր օրինական հարցումների վրա միասին՝ ներառյալ git-կլոնները։

Սա ծանրաբեռնվածության պիկ չէ, այլ մշտական «ֆոնային ճառագայթում»՝ հզորության այն մասնաբաժինը, որը սպասարկում է միայն մեկ նպատակ՝ սնուցել ուսուցանվող մոդելը։

Ինչու է kernel.org-ը հետաքրքիր սկրեյպերների համար

Linux-ի մշակումը բաց է ընթանում։ Կլոնավորելի են ինչպես git-պահոցները, այնպես էլ փոստային ցուցակների արխիվները, իսկ բովանդակությունը երաշխավորված է զերծ մեքենայական գեներացված տեքստից՝ ուսուցման համար անսովոր մաքուր կորպուս։ Ռյաբիցևը մոդելի՝ մոդելի արդյունքի վրա ուսուցումը համեմատում է «թվային պրիոնային հիվանդության» հետ. հենց դրա համար արխիվը, որի ամբողջ պատմությունը նախորդում է լեզվական մեծ մոդելներին, առանձնապես արժեքավոր է։

Չնայած դրան՝ սկրեյպերները անտեսում են արդյունավետ ուղին։ linux.git-ը կլոնավորելու փոխարեն՝ մոտ 1,48 միլիոն կոմիտ, սերվերում հոսթավորվող շուրջ 922 պատառաքաղով՝ նրանք յուրաքանչյուր կոմիտ ռենդերում են որպես առանձին HTML էջ և հետո վերլուծում արդյունքը։ Քանի որ cgit-ը տրամադրում է նաև patch-ներ, պարզ ռենդերներ ու կամայական կոմիտների միջև diff-ներ, մեկ պատառաքաղը ստեղծում է վավեր URL-ների աստղագիտական քանակ, իսկ հարյուրավոր պատառաքաղների դեպքում հասցեային տարածությունը հասնում է միլիարդների։

fail2ban-ից մինչև proof-of-work

Արգելափակումը սկսվեց fail2ban-ով և user-agent-ի ստուգմամբ, անցավ IP-ներով, ապա ամբողջ ASN-ներով արգելքներին, երբ բոտերը սկսեցին սովորական զննարկիչների անվան տակ հանդես գալ, և փլուզվեց, երբ սկաներները սկսեցին գալ միլիոնավոր բնակելի ու բջջային հասցեներից՝ կարճ պոռթկումներով. դա բխում է սպառողական սարքերում, օրինակ՝ խելացի հեռուստացույցներում, ներկառուցված proxy SDK-ներից։

Հաջորդ պաշտպանական գիծը դարձավ Anubis-ը՝ proof-of-work մարտահրավեր, որը կլիենտից պահանջում է հաշվարկել հեշ՝ տրված քանակի առաջատար զրոներով։ Այն անմիջապես աշխատեց, սակայն մի քանի ամիս անց բոտերը սկսեցին լուծել 4-րդ բարդության խնդիրները. 5-ի բարձրացումը ևս մի քանի ամիս շահեց, և այժմ նրանք լուծում են նաև դա։ Գինը վճարում են օրինական օգտատերերը՝ հեռախոսում մի քանի վայրկյան հաշվարկ և զգալիորեն տաքացած սարք։

Օրինական տրաֆիկը՝ ընդամենը մոտ 2%

Այսօր git.kernel.org-ը օրական ստանում է մոտ վեց միլիոն հարցում՝ կամայական կոմիտներ դիտելու պահանջով։ Դրանց մոտ 66%-ը հետ է մղվում Anubis-ի մարտահրավերով, իսկ 33%-ը լուծում է մաթեմատիկան և հասնում հիմնական կայք։ Առատաձեռն ենթադրությունների դեպքում օրինական հարցումները տրաֆիկի միայն մոտ 2%-ն են։ Հինգ հանգույցների 90 միջուկներից 14–16-ը ռենդերում են կոմիտներ սկրեյպերների համար՝ միջինում ընդհանուր հզորության մոտ 20%-ը, սակայն իրական ծանրաբեռնվածությունը գալիս է ալիքներով և շատ ավելի սրածայր է։

Նախագծի պատասխանը ֆունկցիաների անջատումն է՝ սկրեյպինգի ենթակա URL-ների քանակը կրճատելու և ծախսատար գործողությունները սահմանափակելու նպատակով, ուստի անանուն այցելուները պետք է սպասեն ֆունկցիոնալության մի մասի կորուստ։ Բոլոր տվյալները դեռ հասանելի կմնան ներբեռնման համար՝ ըստ պահանջի, միայն ավելի շատ քայլերով։