Loglarda krauler adı yalnızca iddiadır: bir Google Cloud şəbəkəsindən gələn sorğuların 38%-i .env faylları istədi

Kiçik bir saytın 82 saatlıq giriş jurnalının təhlili göstərir ki, user agent sətrindəki krauler adı sorğunun kim tərəfindən göndərildiyini sübut etmir. dev.to saytında dərc olunan hesabatda sayt sahibi Reese Calder sorğuda adı çəkilən botu sorğunun əslində gəldiyi şəbəkə ilə müqayisə edir.

Nə yoxlanıldı

Sayt kiçikdir: iki host adına cavab verən bir Cloudflare Worker. 23 sentyabrdan Worker Cloudflare-in request.cf.asn sahəsində ötürdüyü ASN-i də saxlayır. Müşahidə pəncərəsi 23 sentyabr 03:02 UTC-dən 26 sentyabr 13:00 UTC-dək dövrü əhatə edir: 82 saat və 18 846 sorğu.

Hər sorğu üçün üç şey saxlanılıb: user agent-də göstərilən krauler adı (tanınmış krauler və fetcher adlarından 22-si), şəbəkə və sorğunun şifrə ya da konfiqurasiya faylı istəyib-istəmədiyi (.env, .git, id_rsa, wp-config və bənzərləri). Sənədləşdirilmiş heç bir krauler belə faylları istəmir.

Nə üzə çıxdı

18 846 sorğudan 5 180-i (27,5%) bir şəbəkədən, AS396982-dən gəlib və bu, Google Cloud-dur. Onlardan 2 696-sı (52%) məhz belə fayl istəyib, halbuki bütün digər şəbəkələr birlikdə 13 666 sorğudan yalnız 296 belə sorğu göndərib. Krauler adı daşıyan 1 395 sorğu həmin Google Cloud şəbəkəsindən gəlib və onlardan 533-ü (38,2%) şifrə ya da konfiqurasiya faylı istəyib.

Başqa şəbəkələrdən krauler adı ilə gələn 867 sorğunun heç birində belə tələb olmayıb; onlardan 754-ü (87%) kraulerin operatoru ilə uyğun gələn şəbəkədən gəlib: məsələn, Applebot Apple-dan, bingbot Microsoft-dan, ClaudeBot isə Anthropic-dən. Yeddi ad, aralarında Google-Extended (56 sorğu), yalnız bu tək şəbəkədən görünüb.

Niyə vacibdir

Google-Extended ən aydın nümunədir. Google-ın sənədlərinə görə, bu tokenin ayrı HTTP user agent sətri yoxdur və yalnız robots.txt daxilində istifadə olunur, yəni user agent-ində Google-Extended yazan sorğu kiminsə iddiasıdır.

22 sentyabrda müəllifin jurnalında beş fərqli krauler adı hər biri 40-45 dəfə görünüb və bu, bir müştərinin adları növbə ilə dəyişməsinə bənzəyirdi. Yalnız user agent-ə əsaslanan bot hesabatı belə sorğuları krauler ziyarəti sayır, yalnız user agent sətri ilə uyğunlaşan firewall qaydası isə həmin sətri göndərənə tətbiq olunur.

Dərc etdikdən sonra müəllif Worker-i dəyişib: 26 sentyabr 13:27 UTC-dən krauler adı çəkən və belə fayl istəyən sorğu ayrıca «other bot» kateqoriyasına düşür, Google-Extended adlı sorğu isə «spoofed crawler name» kimi işarələnir.

Məhdudiyyətlər

Müəllif vurğulayır ki, məlumatlar bir kiçik saytı və 82 saatı əhatə edir. Jurnal müştərinin IP ünvanını saxlamır, buna görə operatorların dərc etdiyi aralıqlarla müqayisə aparılmayıb və operator sütunu müəllifin öz fərziyyəsidir. Fayl testi yalnız özünü büruzə verən sorğuları tutur, buna görə 533 aşağı həddir. Google Cloud-da özlərini dürüst təqdim edən botlar da işləyir (məsələn, AgenstryBot və ProwlBot), ona görə həmin şəbəkədən gəlib belə fayl istəməyən 862 sorğu hələ heç nəyi sübut etmir.