Cloudflare, Verified bot'ların güvenilirliğini sürekli izleme özelliği ekledi

Tek seferlik doğrulamadan sürekli izlemeye

Cloudflare, Verified bot'ların kimlikleri doğrulandıktan sonra sorumlu davranışa devam edip etmediğini değerlendiren bir sistem geliştirdi. Şirket bot'un kimliğini yönetim kanıtlarıyla karşılaştırır: doğrulama, bot'un kim tarafından yönetildiğini belirlerken güven, ondan sonra ne yaptığına bağlıdır. Doğrulanmış bir bot bile web sitesinin tercihlerini görmezden gelebilir, origin sunucularını aşırı yükleyebilir veya genellikle kötü niyetli bir tasarım değil, yanlış yapılandırma nedeniyle kontrolü atlatmaya çalışabilir.

Cloudflare'in Verified Bot olması için operatörlerin üç kriteri karşılaması gerekir: kendilerini doğru ve güvenli bir şekilde tanımlamaları, sadece yapacaklarını söylediklerini yapmaları ve suistimal davranışlardan kaçınmaları. Bot'lar, kimliklerini doğrulayan istekleri imzalamak için Web Bot Auth'u kullanır, BotBase ise bunları açık formatta kataloglar. Kimliğin çözümlenmesinden sonra, Cloudflare'e göre, vurgu artık doğrulanmış bot'ların ikinci kuralına kayıyor: zarar verme.

Sabit değerlendirmeler yerine güven aralıkları

Sistem, bir crawler'ın site tercihlerini ne sıklıkla koruduğunu ölçer ve bu gözlemleri anlaşılır bir güven aralığına dönüştürür. Bu aralık, bir bot'un tercihleri ne kadar tutarlı şekilde koruduğunu ve hangi gözlemlenen davranışların değerlendirmenin temelini oluşturduğunu gösterir, bot'a veya operatörüne dair sabit bir karar değil.

Cloudflare risk ile güveni ayırır: risk, belirli bir isteğin zarar verme olasılığını tanımlar ve bir an diğerine değişebilir; güven ise zaman içinde, tekrarlayan ve tutarlı davranışlarla inşa edilir. Şirket, 2025 yılında Perplexity bot'unun Verified bot'lar listesinden çıkarıldığı bir örnek verdi; bu, scraping reddedilen web sitelerinin kaynaklarına erişmeye çalıştıktan ve ardından bu istekler engellendiğinde kontrolü atlatmaya çalıştıktan sonra oldu.

robots.txt'in korunması ve istek sınırına tepki

Sistemin değerlendirdiği ilk sinyaller, bot'un talimatları koruyup korumadığı ve doğrudan geri bildirime tepki verip vermediğidir. robots.txt dosyası, web siteleri için tercihleri iletmekte kullanılan ana yoldur ve sistem, gözlemlenen trafiğin zaman içinde bu yayınlanan tercihleri takip edip etmediğini RFC 9309'a göre inceler. Cloudflare, robots.txt'in bot'ların yapmaması gerekenler için asgari kurallar belirlediğini ve bir bildirimin bulunmamasının izin anlamına gelmediğini belirtiyor. Şirket, izole ihlallerden ziyade yinelenen görmezden kalma kalıplarını arıyor.

Sistem ayrıca bot'ların, ziyaretçilere istek sıklığını azaltmayı öneren HTTP 429 yanıtlarına nasıl tepki verdiğini izler. Bu sinyali aldıktan sonra tutarlı şekilde yavaşlama veya duraklama güveni artırırken, tekrarlayan görmezden kalma bot'un statüsünü düşürür.

Erişilebilirlik planları

Sistem, site sahiplerinin tercihleri yayınlamalarına yardımcı olan Bot Preference Sync ile ve sahiplerin otomatik trafiği nasıl işleyeceğine karar vermelerine olanak tanıyan Bot Management ile birlikte çalışır. Cloudflare, Verified bot'ların web sitesi tercihlerini ne kadar tutarlı şekilde koruduğunu değerlendirmek için sistemi zaten dahili olarak kullanıyor, izole olaylara değil kalıcı kalıplara bakıyor. Şirket, güven eşiğini belirleyebilecek ve Verified bot'ların trafiğinin nasıl işleneceğine karar verebilecek tüm Cloudflare kullanıcıları için sistemi erişilebilir hale getirmeyi planlıyor. Güven puanları gelecekte muhtemelen Radar'da olarak yayınlanacak.

Kaynaklar: Cloudflare