კვლევა: 178 საიტი AI-საძიებო კროლერს robots.txt-ით უშვებს, სერვერზე კი ბლოკავს

AI ხილვადობის ინსტრუმენტებზე მომუშავე დეველოპერმა Reese Calder-მა 8 000 საშუალო რეიტინგის საიტი სერვერის მხრიდან შეამოწმა და 178 აღმოაჩინა, რომლებიც AI-საძიებო კროლერებს robots.txt-ით უშვებს, მოთხოვნას კი მაინც ბლოკავს. ანგარიში dev.to-ზე 26 სექტემბერს გამოქვეყნდა; მასში საუბარია ბლოკირებაზე, რომელსაც robots.txt-ის მხოლოდ წაკითხვით ვერ იპოვი.

რა შემოწმდა

ნიმუში შემთხვევითი შერჩევით შედგა Tranco-ს 20 000-500 000 პოზიციიდან, 6 სექტემბრის სიის მიხედვით. ყველა მოთხოვნა 26 სექტემბერს გაიგზავნა. თავდაპირველად Chrome-ის user agent-ით ჩამოიტვირთა თითოეული საიტის მთავარი გვერდი და /robots.txt. შემდეგ იმ საიტებს, რომლებმაც Chrome-ს უპასუხეს და robots.txt-ით OAI-SearchBot-ს ან PerplexityBot-ს უშვებენ (robots.txt-ის არარსებობა ნებადართულად ითვლება), მთავარი გვერდი კიდევ ერთხელ მოეთხოვათ კროლერების სრული user-agent-ებით, ასევე GPTBot-ით და ClaudeBot-ით.

საიტები, რომლებმაც დაშვებულ კროლერს 401, 403, 429 ან 503-ით უპასუხეს, მესამე ეტაპზე გადავიდნენ: ისევ Chrome, იგივე კროლერი, გამოგონილი ControlBot და მოთხოვნები Googlebot-ისა და Bingbot-ის სახელით. საბოლოო რიცხვში მხოლოდ ის საიტი მოხვდა, სადაც Chrome-ს უპასუხეს, საძიებო კროლერს ორჯერ უარი უთხრეს, ControlBot-ს არ უარყვეს და Googlebot-ისა და Bingbot-ის მოთხოვნებიც დაუშვეს.

შედეგები

შერჩეული 8 000 საიტიდან 5 548-მა Chrome-ს მთავარი გვერდი მისცა, აქედან 5 274-ს robots.txt OAI-SearchBot-ს ან PerplexityBot-ს უშვებდა. ორივე ცდაზე 312-მა უარი თქვა ერთ-ერთ ამ კროლერზე; მათგან 33-მა ControlBot-საც უარი უთხრა, 101-მა კი უარი ან უცნაური პასუხი დაუბრუნა Googlebot-ისა და Bingbot-ის მოთხოვნას. დარჩა 178 საიტი, რომლებიც მხოლოდ AI-საძიებო კროლერს ბლოკავს, ანუ 5 274-ის 3,4%.

ამ 178 საიტიდან 116 OAI-SearchBot-ს ბლოკავს, 132 PerplexityBot-ს, 70 კი ორივეს. სულ 248 უარიდან 237 HTTP 403 იყო, 11 კი 429. მაჩვენებელი პოზიციების მიხედვით თითქმის არ იცვლება: 3,3% 20 000-100 000-ის დიაპაზონში, 3,3% 100 000-250 000-ში და 3,5% 250 000-500 000-ში. საიტებიდან 85 Cloudflare-ზეა, 92 სხვა სერვერებზე, 1 კი Vercel-ზე. GPTBot-საც და ClaudeBot-საც პირველივე ეტაპზე უარი უთხრა 141-მა საიტმა.

რატომ არის ეს მნიშვნელოვანი

მისთვის, ვინც მხოლოდ robots.txt-ს კითხულობს, ამ 178 საიტიდან ყველა ღიად გამოიყურება; მხოლოდ 3-ს აქვს robots.txt-ის ჯგუფი, სადაც ბლოკირებული კროლერი სახელით არის მითითებული. რადგან სიის უმეტესობა AI-მოდელების საწვრთნელ კროლერებსაც ბლოკავს, გამომცემლები AI-ბოტებს ფაილის ნაცვლად სერვერზე აჩერებენ.

ავტორი შეზღუდვებსაც ასახელებს: ყველა მოთხოვნა ერთი IP-მისამართიდან, ერთ დღეში და მხოლოდ მთავარი გვერდისთვის გაიგზავნა, ამიტომ კროლერის რეალურ ქსელურ დიაპაზონზე დაფუძნებული წესი ამ მეთოდით არ ჩანს და 178 საიტიდან ნაწილმა შესაძლოა ნამდვილ კროლერს ჩვეულებრივ უპასუხოს. ადრინდელი ტესტი ტოპ 5 000 საიტზე იყო: იქ 2 429-იდან 56-მა, ანუ 2,3%-მა, მსგავსი ქცევა აჩვენა.