Дослідження: 178 із 8 000 сайтів блокують AI-краулерів, дозволених у robots.txt

Розробник перевірив серверний бік тесту AI-краулерів на 8 000 сайтах середнього рейтингу і знайшов 178, які дозволяють пошуковим краулерам AI у robots.txt, але все одно відхиляють їхні запити. Звіт опубліковано на dev.to 26 вересня; його автор Reese Calder займається інструментами AI-видимості.

Що тестували

Вибірку випадково склали з рейтингу Tranco між 20 000 і 500 000 місцями, за списком від 6 вересня. Усі запити виконали 26 вересня. Спочатку головну сторінку кожного сайту та /robots.txt завантажили з user agent Chrome. Далі сайти, які обслужили Chrome і дозволяли OAI-SearchBot або PerplexityBot у robots.txt (відсутній robots.txt вважався дозволом), попросили відкрити головну з повними user-agent краулерів, а також із GPTBot і ClaudeBot.

Сайти, що відхилили дозволений краулер із кодом 401, 403, 429 або 503, пройшли третій етап: знову Chrome, той самий краулер, вигаданий ControlBot і запити від імені Googlebot та Bingbot. До фінального підрахунку потрапляв лише сайт, який обслужив Chrome, двічі відхилив пошуковий краулер, не відхилив ControlBot і обслужив запити Googlebot та Bingbot.

Що вийшло

Із 8 000 сайтів 5 548 віддали головну сторінку Chrome, а 5 274 з них дозволяли OAI-SearchBot або PerplexityBot у robots.txt. 312 відхилили один із двох краулерів в обох спробах; 33 з них також відхилили ControlBot, а 101 дали відмову або дивну відповідь на запит Googlebot чи Bingbot. Залишилося 178 сайтів, які відхилили лише пошуковий краулер AI, тобто 3,4% від 5 274.

Серед 178 сайтів 116 блокують OAI-SearchBot, 132 блокують PerplexityBot, а 70 блокують обох. Із 248 відмов 237 були HTTP 403, а 11 були 429. Показник тримається стабільно по всьому діапазону: 3,3% на місцях 20 000-100 000, 3,3% на 100 000-250 000 і 3,5% на 250 000-500 000. 85 сайтів обслуговує Cloudflare, 92 інші сервери, 1 Vercel. 141 також відхилили і GPTBot, і ClaudeBot у першому проході.

Чому це важливо

Для перевірки, яка читає лише robots.txt, усі 178 виглядають відкритими, і лише 3 мають групу robots.txt, де названо краулер, який вони блокують. Оскільки більшість із них блокують і навчальні краулери AI, схоже, що рішення ухвалюють на рівні сервера, а не файлу.

Автор перелічує обмеження: усі запити надійшли з однієї IP-адреси за один день і стосувалися лише головної сторінки, тому правило, яке перевіряє справжній діапазон мережі краулера, так не виявити, і частина з 178 сайтів може нормально обслуговувати справжній краулер. Раніший тест на 5 000 найпопулярніших сайтів виявив 56 із 2 429, або 2,3%, з такою ж поведінкою.