Araşdırma: 8.000 orta reytinqli saytdan 178-i robots.txt-in icazə verdiyi AI tarayıcılarını bloklayır

AI görünürlüyü alətləri hazırlayan bir tərtibatçı AI tarayıcı testinin server hissəsini orta reytinqli 8.000 saytda işlədib və robots.txt-də AI axtarış tarayıcılarına icazə verdiyi halda sorğularını rədd edən 178 sayt tapıb. Hesabat 26 sentyabrda dev.to-da dərc olunub.

Nə test edildi

Nümunə 6 sentyabr tarixli siyahı ilə Tranco reytinqində 20.000-500.000 aralığından təsadüfi seçildi. Bütün sorğular 26 sentyabrda göndərildi. Əvvəlcə hər saytın ana səhifəsi və /robots.txt faylı Chrome user agent ilə yükləndi. Sonra Chrome-a cavab verən və robots.txt-də OAI-SearchBot və ya PerplexityBot-a icazə verən saytlardan (robots.txt olmadıqda icazə sayılırdı) ana səhifə bir daha istənildi: bu dəfə tarayıcıların tam user-agent sətirləri ilə, həmçinin GPTBot və ClaudeBot ilə.

İcazə verilən tarayıcını 401, 403, 429 və ya 503 ilə rədd edən saytlar üçüncü mərhələyə keçdi: yenidən Chrome, eyni tarayıcı, uydurma ControlBot və Googlebot ilə Bingbot adından sorğular. Sayt yekun sayıma yalnız o halda düşdü ki, Chrome-a cavab verildi, axtarış tarayıcısı iki dəfə rədd edildi, ControlBot rədd edilmədi və Googlebot ilə Bingbot sorğuları qəbul edildi.

Nəticələr

8.000 saytdan 5.548-i ana səhifəni Chrome-a verdi, onlardan 5.274-ü robots.txt-də OAI-SearchBot və ya PerplexityBot-a icazə verirdi. 312 sayt hər iki cəhddə bu tarayıcılardan birini rədd etdi; onlardan 33-ü ControlBot-u da rədd etdi, 101-i isə Googlebot və ya Bingbot sorğusuna rədd və ya qəribə cavab verdi. Geriyə yalnız AI axtarış tarayıcısını rədd edən 178 sayt qaldı: 5.274-ün 3,4%-i.

178 saytdan 116-sı OAI-SearchBot-u, 132-si PerplexityBot-u, 70-i isə hər ikisini bloklayır. 248 rədd cavabından 237-si HTTP 403, 11-i isə 429 idi. Nisbət reytinq boyu sabit qaldı: 20.000-100.000 aralığında 3,3%, 100.000-250.000 arasında 3,3% və 250.000-500.000 arasında 3,5%. Saytların 85-i Cloudflare arxasındadır, 92-si digər serverlərdə, 1-i Vercel-də. 141-i ilk mərhələdə həm GPTBot-u, həm də ClaudeBot-u rədd edib.

Niyə vacibdir

Yalnız robots.txt oxuyan yoxlama üçün bu 178 saytın hamısı açıq görünür və yalnız 3-ünün robots.txt faylında rədd etdiyi tarayıcının adı çəkilir. Çoxu AI təlim tarayıcılarını da blokladığı üçün qərar faylda deyil, server tərəfində verilmiş görünür.

Müəllif məhdudiyyətləri də sadalayır: bütün sorğular bir IP ünvanından, bir gündə və yalnız ana səhifə üçün gəldi, ona görə tarayıcının real şəbəkə aralığını yoxlayan qayda bu üsulla görünməz qalır və 178 saytın bir qismi real tarayıcıya normal xidmət edə bilər. Əvvəlki test ən məşhur 5.000 sayt üzərində idi: 2.429 saytdan 56-sı (2,3%) eyni davranışı göstərdi.