Cloudflare-მა Verified bot-ების ნდობის უწყვეტი მონიტორინგი დაამატა

ერთჯერადი ვერიფიკაციიდან უწყვეტ მონიტორინგამდე

Cloudflare-მა წარადგინა სისტემა, რომელიც აფასებს, აგრძელებენ თუ არა Verified bot-ები პასუხისმგებლიან ქცევას მას შემდეგ, რაც მათი ვინაობა დადასტურდა. კომპანია bot-ის ვინაობას მართვის მოწმობას ადარებს: ვერიფიკაცია ადგენს, თუ ვინ მართავს bot-ს, ნდობა კი იმაზეა დამოკიდებული, რას აკეთებს ის შემდეგ. ვერიფიცირებულ bot-ს მაინც შეუძლია უგულებელყოს ვებსაიტის პრეფერენციები, გადატვირთოს origin სერვერები ან სცადოს კონტროლის თავიდან აცილება, ხშირად არასწორი კონფიგურაციის, და არა მავნე განზრახვის გამო.

Cloudflare-ის Verified Bot-ად გახდომისთვის ოპერატორებმა სამი კრიტერიუმი უნდა დააკმაყოფილონ: ზუსტად და უსაფრთხოდ წარმოადგინონ საკუთარი თავი, აკეთონ მხოლოდ ის, რასაც ამბობენ, რომ გააკეთებენ, და თავი აარიდონ აბუზიურ ქცევას. Bot-ები იყენებენ Web Bot Auth-ს იმ მოთხოვნების ხელმოწერისთვის, რომლებიც მათ ვინაობას ადასტურებენ, ხოლო BotBase მათ ღია ფორმატში აკატალოგებს. იდენტიფიკაციის მოგვარების შემდეგ, Cloudflare-ის თქმით, აქცენტი ახლა ვერიფიცირებული bot-ების მეორე წესზე გადადის: ზიანი არ მიაყენო.

ნდობის დიაპაზონები მუდმივი შეფასებების ნაცვლად

სისტემა ზომავს, რამდენად ხშირად იცავს crawler საიტის პრეფერენციებს, და ამ დაკვირვებებს გასაგებ ნდობის დიაპაზონად გარდაქმნის. ეს არის შუალედი, რომელიც აჩვენებს, რამდენად თანმიმდევრულად იცავს bot პრეფერენციებს და რომელი დაკვირვებული ქცევები გახდა შეფასების საფუძველი, და არა მუდმივი განაჩენი bot-ზე ან მის ოპერატორზე.

Cloudflare განასხვავებს რისკსა და ნდობას: რისკი აღწერს ალბათობას, რომ კონკრეტული მოთხოვნა შესაძლოა საზიანო იყოს, და შეიძლება ერთი მომენტიდან მეორეში შეიცვალოს, ნდობა კი დროთა განმავლობაში, განმეორებადი და თანმიმდევრული ქცევით აგება. კომპანიამ მოიყვანა Perplexity-ს bot-ის Verified bot-ების სიიდან ამოღების შემთხვევა 2025 წელს, მას შემდეგ, რაც მან სცადა წვდომა იმ ვებსაიტების რესურსებზე, რომლებმაც scraping-ზე უარი განაცხადეს, და შემდგომ სცადა კონტროლის გვერდის ავლა, როცა ეს მოთხოვნები დაიბლოკა.

robots.txt-ის დაცვა და მოთხოვნების ლიმიტზე რეაგირება

საწყისი სიგნალები, რომლებსაც სისტემა აფასებს, არის ის, იცავს თუ არა bot ინსტრუქციებს და რეაგირებს თუ არა პირდაპირ უკუკავშირზე. robots.txt ფაილი ვებსაიტებისთვის პრეფერენციების გადმოცემის მთავარი გზაა, და სისტემა განიხილავს, ემთხვევა თუ არა დაკვირვებული ტრაფიკი დროთა განმავლობაში ამ გამოქვეყნებულ პრეფერენციებს, RFC 9309-ის შესაბამისად. Cloudflare აღნიშნავს, რომ robots.txt ადგენს მინიმალურ წესებს იმისთვის, რა არ უნდა გააკეთონ bot-ებმა, და რომ განცხადების არარსებობა ნებართვას არ ნიშნავს. კომპანია ეძებს უგულებელყოფის განმეორებად შაბლონებს და არა იზოლირებულ დარღვევებს.

სისტემა ასევე აკვირდება, როგორ რეაგირებენ bot-ები HTTP 429 პასუხებზე, რომლებიც ვიზიტორებს მოთხოვნების სიხშირის შემცირებას ურჩევენ. ამ სიგნალის მიღების შემდეგ თანმიმდევრულად შენელება ან პაუზა ნდობას ზრდის, ხოლო მისი განმეორებითი უგულებელყოფა bot-ის სტატუსს ამცირებს.

ხელმისაწვდომობის გეგმები

სისტემა მუშაობს Bot Preference Sync-თან ერთად, რომელიც საიტის მფლობელებს პრეფერენციების გამოქვეყნებაში ეხმარება, და Bot Management-თან, რომელიც მფლობელებს საშუალებას აძლევს, გადაწყვიტონ, როგორ დამუშავდეს ავტომატური ტრაფიკი. Cloudflare უკვე შიდად იყენებს სისტემას იმის შესაფასებლად, რამდენად თანმიმდევრულად იცავენ Verified bot-ები ვებსაიტის პრეფერენციებს, აფასებს რა მდგრად შაბლონებს და არა იზოლირებულ მოვლენებს. კომპანია გეგმავს, ის ყველა Cloudflare-ის მომხმარებლისთვის ხელმისაწვდომი გახადოს, რომლებსაც შეეძლებათ აირჩიონ ნდობის ზღვარი, რომელიც გადაწყვეტს, როგორ დამუშავდეს Verified bot-ების ტრაფიკი. ნდობის ქულები მომავალში, სავარაუდოდ, Radar-ზე საჯაროდ გამოქვეყნდება.

წყაროები: Cloudflare