Рік боротьби зі скраперами на сайті з 1,5 млн сторінок

База даних філантропів PatronView, що містить близько 1,5 млн сторінок профілів, опублікувала докладний звіт про рік боротьби з автоматичним скрапінгом. За словами оператора сайту, того тижня, коли вийшов допис, сервер відповів на 2,5 млн зовнішніх запитів і віддав 1,28 млн повних сторінок, тоді як аналітика зафіксувала лише 5 977 переглядів від людей — приблизно 214 завантажень від ботів на кожне реальне й менш ніж пів відсотка всього трафіку.

Хвиля з Китаю

Найважчий день — 22 квітня: 3,6 млн запитів за добу з 361 844 унікальних IP-адрес, майже всі з Китаю. Managed Challenge від Cloudflare поглинув 1,18 млн із них приблизно за десять годин, але значна частина пройшла далі. 23 квітня оператор заблокував усю країну на рівні edge, а згодом додав В'єтнам і Сінгапур після схожих хвиль. Реальний пошуковий трафік сайту — 95,9% зі США та 1,3% з Канади.

Головна метрика — просканованих сторінок на одного приведеного відвідувача

Автор пропонує показник, який тепер застосовує до кожного рішення: скільки сторінок сканер читає на кожного приведеного відвідувача. Google потребує 46 сканувань на одного відвідувача — це він вважає справедливим. У червні Claude-SearchBot від Anthropic запросив 420 680 сторінок за тиждень і привів 12 людей: співвідношення 35 000 до 1, тоді як Cloudflare заявляє для сканерів Anthropic близько 3 000 до 1. Бот витратив 4,63 ГБ трафіку, а приведені ним люди — 175 КБ. Блокування зменшило сканер із 60 000 запитів на добу до приблизно 25. Тим часом Amzn-SearchBot від Amazon став найбільшим сканером сайту — близько 117 000 запитів на добу — і був заблокований за два дні до публікації.

Дата-центри, домашні підключення та результат

У липні трафік змінив форму: безперервна хвиля браузерів headless Chrome на AWS, потім на Azure, а резидентні проксі-мережі спрямовували запити через звичайні домашні підключення, видаючи себе за браузери 2023 року. Контрзаходи свідомо грубі: перевірка для всіх континентів, крім Північної Америки, для 46 ASN дата-центрів і для застарілих версій браузерів. За останні 48 годин Cloudflare видав 106 437 перевірок, і лише 252 були пройдені — 0,24%. За перші 24 години після запуску останніх правил було заблоковано 46 729 запитів, з них 43 150 — від сканера Amazon. Сайт працює на Cloudflare Workers із D1 і KV; звичайний рахунок — близько 90 доларів на місяць, і 99% використання припадає на ботів. Висновок автора: скрапінг став економічною проблемою, розв'язок він бачить у моделі pay-per-crawl, а його робоче правило просте — сканер, який не приводить відвідувачів, блокується.