1,5 milyon sayfalık bir sitede kazıyıcılarla bir yıllık mücadele

Yaklaşık 1,5 milyon kişisel profil sayfası barındıran hayırseverlik veritabanı PatronView, otomatik kazımaya karşı geçen bir yılın ayrıntılı hesabını yayımladı. Sitenin işletmecisine göre, yazının yayımlandığı hafta sunucu 2,5 milyon dış isteği yanıtladı ve 1,28 milyon tam sayfa sundu; buna karşılık analitik yalnızca 5.977 insan görüntülemesi kaydetti. Bu, her gerçek ziyaretçiye karşılık yaklaşık 214 bot sayfa yüklemesi ve toplam trafiğin yüzde yarısından azı demek.

Çin'den gelen dalga

En ağır olay 22 Nisan'da yaşandı: site bir günde 361.844 benzersiz IP adresinden 3,6 milyon istek aldı ve bunların neredeyse tamamı Çin'deydi. Cloudflare'in Managed Challenge'ı yaklaşık on saatte bunların 1,18 milyonunu emdi, ancak önemli bir bölümü geçti. 23 Nisan'da işletmeci ülkenin tamamını uçta engelledi; benzer dalgaların ardından Vietnam ve Singapur'u da listeye ekledi. Sitenin gerçek arama trafiği yüzde 95,9 ABD, yüzde 1,3 Kanada kaynaklı.

Yeni ölçüt: yönlendirilen ziyaretçi başına taranan sayfa

Yazı, yazarın artık her kararda kullandığı ölçütü tanıtıyor: bir tarayıcının yönlendirdiği her ziyaretçi için kaç sayfa okuduğu. Google, gönderdiği ziyaretçi başına 46 tarama yapıyor ve bu makul görünüyor. Haziran'da Anthropic'in Claude-SearchBot'u tek haftada 420.680 sayfa istedi ve 12 insan ziyaretçi getirdi — Cloudflare'in Anthropic tarayıcıları için bildirdiği yaklaşık 3.000'e 1 yerine 35.000'e 1. Bot 4,63 GB bant genişliği tüketti; getirdiği insanlar ise 175 KB. Engelleme, tarayıcıyı günde 60.000 istekten yaklaşık 25'e düşürdü. Bu arada Amazon'un Amzn-SearchBot'u günde yaklaşık 117.000 istekle sitenin en büyük tarayıcısı hâline gelmişti ve yayından iki gün önce engellendi.

Veri merkezleri, ev bağlantıları ve sonuçlar

Temmuz'da trafiğin şekli değişti: önce AWS, sonra Azure üzerinde çalışan kesintisiz bir headless Chrome dalgası; konut proxy ağları ise istekleri sıradan ev bağlantılarından geçirip kendilerini 2023 model tarayıcılar olarak gösterdi. Karşı önlemler bilinçli olarak kaba: Kuzey Amerika dışındaki tüm kıtalar, 46 veri merkezi ASN'si ve eski tarayıcı sürümleri için doğrulama. Son 48 saatte Cloudflare 106.437 doğrulama yayımladı ve yalnızca 252'si çözüldü — yüzde 0,24. Son kurallar devreye girdikten sonraki ilk 24 saatte 46.729 istek doğrudan engellendi; bunların 43.150'si Amazon'un tarayıcısından geliyordu. Site D1 ve KV ile Cloudflare Workers üzerinde çalışıyor; normal fatura ayda yaklaşık 90 dolar ve kullanımın yüzde 99'u botlardan. Yazarın vardığı sonuç, kazımanın artık ekonomik bir sorun olduğu: kalıcı çözümü istek başına ödeme modelinde görüyor ve çalışma kuralı basit — hiç ziyaretçi göndermeyen tarayıcı engellenir.