Cloudflare-ը ավելացրել է Verified bot-ների վստահության անընդհատ մոնիթորինգ

Մեկանգամյա վերիֆիկացումից անընդհատ մոնիթորինգ

Cloudflare-ը ներկայացրել է համակարգ, որը գնահատում է՝ շարունակում են՞ Verified bot-ները պատասխանատու վարքը այն բանից հետո, երբ իրենց ինքնությունը հաստատվել է: Ընկերությունը bot-ի ինքնությունը համեմատում է կառավարման վկայության հետ: Վերիֆիկացիան հաստատում է՝ ո՞վ է կառավարում bot-ը, իսկ վստահությունը կախված է նրանից, թե ինչ է այն անում հետո: Վերիֆիցված bot-ը դեռ կարող է անտեսել կայքի նախընտրությունները, բենիմենել origin սերվերները կամ փորձել շրջանցել վերահսկումը, հաճախ սխալ կազմաձևման, ոչ թե չարամտորեն մտքի պատճառով.

Cloudflare-ի Verified Bot-դառնալու համար օպերատորները պետք է բավարարեն երեք չափանիշին՝ ճշգրիտ և անվտանգ ներկայացնեն իրենցը, կատարեն միայն այն, ինչ խոստանում են անել, և խուսափեն չարաշահողական վարքից: Bot-ները օգտագործում են Web Bot Auth-ը այն հարցումների ստորագրման համար, որոնք հաստատում են իրենց ինքնությունը, իսկ BotBase-ը կատալոգավորում է դրանք բաց ֆորմատով: Ինքնության ներկայացման հետո, Cloudflare-ի խոսքով, ակցենտը այժմ տեղափոխվում է վերիֆիցված bot-ների երկրորդ կանոնին՝ չպատճառել վնաս.

Վստահության դիապազոններ մշտական գնահատականների փոխարեն

Համակարգը չափում է թե որքան հաճախ crawler-ը պաշտպանում է կայքի նախընտրությունները և այս դիտարկումները վերածում է հասկանալի վստահության դիապազոնի: Սա միջակայք է, որը ցույց է տալիս թե որքան հաստատ պաշտպանում է bot-ը նախընտրությունները և որ դիտված վարքագծերը դարձել են գնահատման հիմք, ոչ թե մշտական դատավճիտ bot-ի կամ դրա օպերատորի նկատմամբ.

Cloudflare-ը տարբերակում է ռիսկը և վստահությունը. ռիսկը նկարագրում է հավանականությունը, որ կոնկրետ հարցումը կարող է վնասակար լինել և կարող է փոխվել մեկ պահից մյուսը, իսկ վստահությունը կառուցվում է ժամանակի ընթացքում՝ կրկնվող և հաստատ վարքագծով: Ընկերությունը նշել է Perplexity-ի bot-ի հեռացման դեպքը Verified bot-ների ցուցակից 2025 թվականին, որից հետո այն փորձեց մուտք գործել այն կայքերի ռեսուրսները, որոնք մերժել էին scraping-ը, և հետո փորձեց շրջանցել կառավարման պատկերակը, երբ այդ հարցումները բլոկավորվեցին.

robots.txt-ի պաշտպանությունը և ռեակցիան հարցումների սահմանաչափի նկատմամբ

Նախնական ազդանշանները, որոնք համակարգը գնահատում է, ներառում են այն՝ պաշտպանում է թե ոչ bot-ը հրահանգներին և արձագանքում է անուղղակի հետադարձ կապի վրա: robots.txt ֆայլը կայքերի նախընտրությունների փոխանցման հիմնական միջոցն է, և համակարգը դիտարկում է՝ համապատասխանու՞մ է դիտված երթևեկությունը այս հրապարակված նախընտրություններին ժամանակի ընթացքում, ինչպես նախատեսված է RFC 9309-ով: Cloudflare-ը նշում է, որ robots.txt-ը հաստատում է նվազագույն կանոնները այն մասին, թե ինչ չպետք է անեն bot-ները, և որ հայտարարության բացակայությունը թույլատվություն չի նշանակում: Ընկերությունը փնտրում է անտեսման կրկնվող ձևանմուշներ և ոչ թե առանձնացված խախտումներ:

Համակարգը նաև հետևում է այն, թե ինչպես են արձագանքում bot-ները HTTP 429 պատասխաններին, որոնք այցելուներին առաջարկում են կրճատել հարցումների հաճախականությունը: Այս ազդանշանը ստանալուց հետո հաստատ նավասկումը կամ դադարը բարձրացնում է վստահությունը, իսկ դրա կրկնվող անտեսումը իջեցնում է bot-ի կարգավիճակը.

Հասանելիության պլաններ

Համակարգը աշխատում է Bot Preference Sync-ի հետ միասին, որը օգնում է կայքի սեփականատերերին հրապարակել նախընտրություններ, և Bot Management-ի հետ, որը սեփականատերերին հնարավորություն է տալիս որոշել՝ ինչպես մշակել ավտոմատ երթևեկությունը: Cloudflare-ը արդեն ներսում օգտագործում է համակարգը այն գնահատելու համար, թե որքան հաստատ են Verified bot-ները պաշտպանում կայքի նախընտրությունները՝ գնահատելով որքան կայուն ձևանմուշներն են, այլ ոչ թե առանձնացված դեպքերը: Ընկերությունը պլանավորում է հասանելի դարձնել այն բոլոր Cloudflare-ի օգտատերերի համար, ովքեր կկարողանան ընտրել վստահության սահմանաչափ, որը որոշում է՝ ինչպես մշակել Verified bot-ների երթևեկությունը: Վստահության միավորները ապագայում հավանաբար հրապարակվելու են Radar-ում:

Նյութերը: Cloudflare