1,5 milyon səhifəli saytda skreyperlərlə birillik mübarizə

Təxminən 1,5 milyon fərdi profil səhifəsi olan xeyriyyə donorları bazası PatronView avtomatik skreypinqə qarşı keçən bir ilin ətraflı hesabatını dərc edib. Saytın operatorunun sözlərinə görə, yazının dərc olunduğu həftə server 2,5 milyon xarici sorğuya cavab verib və 1,28 milyon tam səhifə təqdim edib, analitika isə yalnız 5 977 insan baxışı qeydə alıb. Bu, hər real ziyarətə təxminən 214 bot səhifə yükləməsi və ümumi trafikin yarım faizindən azı deməkdir.

Çindən gələn dalğa

Ən ağır hadisə 22 apreldə baş verib: sayt bir gündə 361 844 unikal IP ünvanından 3,6 milyon sorğu alıb və onların demək olar hamısı Çində olub. Cloudflare-in Managed Challenge sistemi təxminən on saatda onların 1,18 milyonunu udub, lakin əhəmiyyətli hissə keçib. 23 apreldə operator bütün ölkəni edge səviyyəsində bloklayıb, sonra oxşar dalğalardan sonra Vyetnam və Sinqapuru da əlavə edib. Saytın real axtarış trafikinin 95,9%-i ABŞ-dan, 1,3%-i Kanadadandır.

Əsas metrika: gətirilən hər ziyarətçiyə düşən skan edilmiş səhifə

Yazı müəllifin artıq hər qərarda tətbiq etdiyi metrikanı təqdim edir: skaner hər gətirdiyi ziyarətçiyə nə qədər səhifə oxuyur. Google hər ziyarətçiyə 46 skan edir və müəllif bunu ədalətli hesab edir. İyunda Anthropic-in Claude-SearchBot bir həftədə 420 680 səhifə istəyib və 12 insan ziyarətçi gətirib — Cloudflare-in Anthropic skanerləri üçün bildirdiyi təxminən 3 000-ə 1 nisbətinə qarşı 35 000-ə 1. Bot 4,63 GB trafik sərf edib, gətirdiyi insanlar isə 175 KB. Bloklama skaneri gündə 60 000 sorğudan təxminən 25-ə endirib. Bu arada Amazon-un Amzn-SearchBot gündə təxminən 117 000 sorğu ilə saytın ən böyük skanerinə çevrilib və dərcindən iki gün əvvəl bloklanıb.

Data mərkəzləri, ev bağlantıları və nəticələr

İyulda trafikin forması dəyişib: AWS-də, sonra Azure-da işləyən headless Chrome axını, rezident proksi şəbəkələri isə sorğuları adi ev bağlantılarından keçirərək özlərini 2023-cü il brauzerləri kimi təqdim edib. Əks tədbirlər qəsdən kobuddur: Şimali Amerikadan başqa bütün qitələr, 46 data mərkəzi ASN-i və köhnə brauzer versiyaları üçün yoxlama. Son 48 saatda Cloudflare 106 437 yoxlama verib və yalnız 252-si həll olunub — 0,24%. Son qaydalar işə düşdükdən sonra ilk 24 saatda 46 729 sorğu birbaşa bloklanıb, onlardan 43 150-si Amazon-un skanerindən olub. Sayt D1 və KV ilə Cloudflare Workers üzərində işləyir; normal hesab ayda təxminən 90 dollardır və istifadənin 99%-i botlara aiddir. Müəllifin nəticəsi budur ki, skreypinq iqtisadi problemə çevrilib və o, həlli pay-per-crawl modelində görür; iş qaydası isə sadədir — heç vaxt ziyarətçi gətirməyən skaner bloklanır.