Araştırma: 8.000 site arasında 178'i robots.txt'in izin verdiği AI tarayıcılarını engelliyor

AI görünürlüğü araçları geliştiren bir yazılımcı, AI tarayıcı testinin sunucu tarafını orta sıralardaki 8.000 sitede çalıştırdı ve robots.txt'te AI arama tarayıcılarına izin verdiği halde isteklerini reddeden 178 site buldu. Rapor 26 Eylül'de dev.to'da yayımlandı.

Ne test edildi

Örneklem, 6 Eylül tarihli listeyle Tranco sıralamasında 20.000 ile 500.000 arasından rastgele seçildi. Tüm istekler 26 Eylül'de gönderildi. Önce her sitenin ana sayfası ve /robots.txt dosyası Chrome user agent ile alındı. Ardından Chrome'a yanıt veren ve robots.txt'te OAI-SearchBot ya da PerplexityBot'a izin veren sitelerden (robots.txt yoksa izin verilmiş sayıldı) ana sayfa bir kez daha istendi: bu kez tarayıcıların tam user-agent dizeleriyle, ayrıca GPTBot ve ClaudeBot ile.

İzin verilen bir tarayıcıyı 401, 403, 429 veya 503 ile reddeden siteler üçüncü tura geçti: yeniden Chrome, aynı tarayıcı, uydurma bir ControlBot ve Googlebot ile Bingbot kimliğiyle gelen istekler. Bir site nihai sayıma ancak Chrome'a yanıt verdiyse, arama tarayıcısını iki kez reddettiyse, ControlBot'u reddetmediyse ve Googlebot ile Bingbot isteklerine yanıt verildiyse girdi.

Sonuçlar

8.000 sitenin 5.548'i ana sayfayı Chrome'a verdi; bunların 5.274'ü robots.txt'te OAI-SearchBot ya da PerplexityBot'a izin veriyordu. 312 site iki denemede de bu tarayıcılardan birini reddetti; 33'ü ControlBot'u da reddetti, 101'i ise Googlebot veya Bingbot isteğine ret ya da tuhaf bir yanıt verdi. Geriye yalnızca AI arama tarayıcısını reddeden 178 site kaldı: 5.274'ün %3,4'ü.

178 sitenin 116'sı OAI-SearchBot'u, 132'si PerplexityBot'u, 70'i ise ikisini birden engelliyor. 248 reddin 237'si HTTP 403, 11'i 429'du. Oran sıralama boyunca sabit kaldı: 20.000-100.000 aralığında %3,3, 100.000-250.000 arasında %3,3 ve 250.000-500.000 arasında %3,5. Sitelerin 85'i Cloudflare arkasında, 92'si başka sunucularda, 1'i Vercel'de. 141'i ilk turda GPTBot'u da ClaudeBot'u da reddetti.

Neden önemli

Yalnızca robots.txt okuyan bir kontrol için 178 sitenin tamamı açık görünüyor; yalnızca 3'ünün robots.txt dosyasında reddettiği tarayıcının adı geçiyor. Çoğu AI eğitim tarayıcılarını da engellediği için karar dosyada değil, sunucu tarafında alınmış görünüyor.

Yazar sınırlamaları da sıralıyor: tüm istekler tek bir IP adresinden, tek bir günde ve yalnızca ana sayfa için geldi; bu yüzden tarayıcının gerçek ağ aralığını kontrol eden bir kural bu yöntemle görünmez ve 178 sitenin bir kısmı gerçek tarayıcıya normal hizmet ediyor olabilir. En popüler 5.000 site üzerinde yapılan önceki testte 2.429 sitenin 56'sı (%2,3) aynı davranışı gösterdi.