Cloudflare додав безперервний моніторинг довіри до Verified Bot-ів

Від одноразової верифікації до безперервного моніторингу

Cloudflare представила систему, яка оцінює, чи продовжують Verified Bot-и дотримуватися відповідальної поведінки після підтвердження їхньої ідентичності. Компанія порівнює ідентичність бота з доказом управління: верифікація встановлює, хто керує ботом, тоді як довіра залежить від того, що він робитиме далі. Навіть верифікований Bot-и може ігнорувати переваги вебсайту, перевантажувати origin сервери або намагатися обійти контроль, часто через неправильну конфігурацію, а не через злий умисел.

Щоб отримати статус Verified Bot від Cloudflare, оператори мають виконати три критерії: точно та безпечно представляти себе, робити лише те, про що заявляють, і уникати зловживаної поведінки. Боти використовують Web Bot Auth для підпису запитів, які підтверджують їхню ідентичність, тоді як BotBase каталогує їх у відкритому форматі. Після вирішення питання ідентифікації, за словами Cloudflare, акцент тепер переходить на друге правило верифікованих ботів: не заподіюйте шкоди.

Діапазони довіри замість постійних оцінок

Система вимірює, наскільки часто crawler дотримується переваг сайту, і перетворює ці спостереження на зрозумілий діапазон довіри. Це інтервал, який показує, наскільки послідовно бот дотримується переваг і які спостережувані моделі поведінки стали основою оцінки, а не постійний вирок щодо бота або його оператора.

Cloudflare розрізняє ризик і довіру: ризик описує ймовірність того, що конкретний запит може бути шкідливим, і може змінюватися від моменту до моменту, тоді як довіра будується з часом через повторювану та послідовну поведінку. Компанія навела випадок видалення бота Perplexity зі списку Verified Bot-ів у 2025 році після того, як він намагався отримати доступ до ресурсів вебсайтів, які заборонили scraping, а потім спробував обійти контроль, коли ці запити було заблоковано.

Дотримання robots.txt та реакція на ліміт запитів

Початковими сигналами, які оцінює система, є те, чи дотримується бот інструкцій і чи реагує безпосередньо на зворотний зв’язок. Файл robots.txt є основним способом передачі переваг вебсайтів, і система розглядає, чи відповідає спостережуваний трафік із часом цим опублікованим перевагам, відповідно до RFC 9309. Cloudflare зазначає, що robots.txt встановлює мінімальні правила того, чого не повинні робити боти, і що відсутність такого оголошення не означає дозволу. Компанія шукає повторювані шаблони ігнорування, а не ізольовані порушення.

Система також спостерігає, як боти реагують на відповіді HTTP 429, які радять відвідувачам зменшити частоту запитів. Після отримання цього сигналу послідовне сповільнення або пауза підвищує довіру, тоді як повторюване ігнорування знижує статус бота.

Плани щодо доступності

Система працює разом із Bot Preference Sync, яка допомагає власникам сайтів публікувати переваги, і Bot Management, яка дає власникам можливість вирішувати, як обробляти автоматичний трафік. Cloudflare уже внутрішньо використовує систему для оцінки того, наскільки послідовно Verified Bot-и дотримуються переваг вебсайту, оцінюючи стійкі шаблони, а не ізольовані події. Компанія планує зробити її доступною всім користувачам Cloudflare, які можуть обрати поріг довіри, який визначатиме, як обробляти трафік Verified Bot-ів. Бали довіри, ймовірно, з’являться у відкритому доступі в Radar у майбутньому.

Джерела: Cloudflare