Loglardaki tarayıcı adı bir iddiadır: tek Google Cloud ağından gelen isteklerin %38'i .env dosyası istedi

Küçük bir sitenin 82 saatlik erişim kaydının analizi, user agent dizesindeki tarayıcı adının isteği kimin gönderdiğini kanıtlamadığını gösteriyor. dev.to'da yayımlanan raporda site sahibi Reese Calder, istekte adı geçen botu isteğin gerçekte geldiği ağla karşılaştırıyor.

Neye bakıldı

Site küçük: iki ana makine adına yanıt veren tek bir Cloudflare Worker. 23 Eylül'den bu yana Worker, Cloudflare'in request.cf.asn alanında ilettiği ASN'yi de saklıyor. İnceleme penceresi 23 Eylül 03:02 UTC'den 26 Eylül 13:00 UTC'ye kadar uzanıyor: 82 saat ve 18.846 istek.

Her istek için üç şey tutuldu: user agent'taki tarayıcı adı (bilinen tarayıcı ve çekici adlarından 22'si), ağ ve istenen yolun kimlik bilgisi ya da yapılandırma dosyası olup olmadığı (.env, .git, id_rsa, wp-config ve benzerleri). Belgelenmiş hiçbir tarayıcı bu dosyaları istemiyor.

Sonuçlar

18.846 isteğin 5.180'i (27,5%) AS396982 numaralı tek bir ağdan, yani Google Cloud'dan geldi. Bunların 2.696'sı (52%) bu dosyalardan birini istedi; diğer tüm ağlar ise 13.666 istekten yalnızca 296 böyle istek gönderdi. Tarayıcı adı taşıyan 1.395 istek bu Google Cloud ağından geldi ve bunların 533'ü (38,2%) kimlik bilgisi ya da yapılandırma dosyası istedi.

Tarayıcı adı taşıyıp başka ağlardan gelen 867 istekte böyle bir talep yoktu; bu isteklerin 754'ü (87%) tarayıcının işletmecisiyle eşleşen bir ağdan geldi: Applebot Apple'dan, bingbot Microsoft'tan, ClaudeBot ise Anthropic'ten. Yedi ad, aralarında Google-Extended (56 istek), yalnızca bu tek ağdan göründü.

Neden önemli

Google-Extended en net örnek. Google'ın belgelerine göre bu jetonun ayrı bir HTTP user agent dizesi yok ve yalnızca robots.txt içinde kullanılıyor; yani user agent'ında Google-Extended yazan bir istek birinin iddiası.

22 Eylül'de yazarın kaydında beş farklı tarayıcı adı 40-45'er isabet gösterdi; bu, tek bir istemcinin adları döndürmesi gibi görünüyordu. Yalnızca user agent'a dayanan bir bot raporu bu istekleri tarayıcı ziyareti sayar; yalnızca user agent dizesiyle eşleşen bir güvenlik duvarı kuralı ise o dizeyi gönderene uygulanır.

Yayından sonra yazar Worker'ı değiştirdi: 26 Eylül 13:27 UTC'den itibaren tarayıcı adı taşıyıp bu dosyalardan birini isteyen istek «other bot» olarak, Google-Extended adını taşıyan istek ise «spoofed crawler name» olarak etiketleniyor.

Sınırlar

Yazar verilerin tek bir küçük siteyi ve 82 saati kapsadığını vurguluyor. Kayıtlar istemcinin IP adresini saklamıyor, bu yüzden işletmecilerin yayımladığı aralıklarla karşılaştırma yapılmadı ve işletmeci sütunu yazarın kendi varsayımı. Dosya testi yalnızca kendini belli eden istekleri yakalıyor, dolayısıyla 533 bir alt sınır. Google Cloud'da kendini dürüstçe tanıtan botlar da çalışıyor (örneğin AgenstryBot ve ProwlBot); aynı ağdan gelip böyle bir dosya istemeyen 862 istek bu yüzden hiçbir şeyi kanıtlamıyor.