წელიწადი ბოტებთან ბრძოლაში 1,5 მილიონგვერდიან საიტზე

ამერიკელი ფილანთროპების მონაცემთა ბაზა PatronView, რომელიც დაახლოებით 1,5 მილიონ პირად პროფილის გვერდს მოიცავს, გამოაქვეყნა დეტალური ანგარიში იმის შესახებ, თუ როგორ ებრძოდა საიტი ავტომატურ სქრეიპინგს მთელი წლის განმავლობაში. ავტორის თქმით, პოსტის გამოქვეყნების კვირაში სერვერმა 2,5 მილიონ გარე მოთხოვნას უპასუხა და 1,28 მილიონი სრული გვერდი მოემსახურა, ანალიტიკამ კი მხოლოდ 5 977 ადამიანური გვერდის ნახვა დააფიქსირა. ეს დაახლოებით 214 ბოტური ჩატვირთვაა ერთ რეალურ ვიზიტზე და მთლიანი ტრაფიკის ნახევარ პროცენტზე ნაკლები.

ჩინური „წყალდიდობა“

ყველაზე მძიმე შემთხვევა 22 აპრილს მოხდა: საიტმა ერთ დღეში 3,6 მილიონი მოთხოვნა მიიღო 361 844 უნიკალური IP მისამართიდან, რომლებიც თითქმის სრულად ჩინეთში იყო განთავსებული. Cloudflare-ის Managed Challenge-მა ათ საათში 1,18 მილიონი მათგანი შეიწოვა, თუმცა მნიშვნელოვანმა ნაწილმა გაიარა. 23 აპრილს ავტორმა მთელი ქვეყანა დაბლოკა edge-ზე, შემდეგ კი ვიეტნამი და სინგაპურიც დაამატა, როცა მსგავსი ტალღები იქიდან დაიწყო. საიტის რეალური საძიებო ტრაფიკის 95,9% აშშ-ზე მოდის, 1,3% კი კანადაზე.

მთავარი მეტრიკა — ნაკითხი გვერდები ერთ მოყვანილ ვიზიტორზე

პოსტში ავტორი წარადგენს მეტრიკას, რომელსაც დღეს ყველა გადაწყვეტილებისთვის იყენებს: რამდენ გვერდს კითხულობს კროლერი ერთ მოყვანილ ვიზიტორზე. Google-ს 46 დაკითხვა სჭირდება ერთი ვიზიტორისთვის, რასაც ავტორი სამართლიანად მიიჩნევს. ივნისში Anthropic-ის Claude-SearchBot-მა ერთ კვირაში 420 680 გვერდი მოითხოვა და მხოლოდ 12 ადამიანური ვიზიტორი მოიყვანა — 35 000-დან 1-ზე თანაფარდობა, მაშინ როცა Cloudflare Anthropic-ის კროლერებისთვის დაახლოებით 3 000-დან 1-ს აცხადებს. ბოტმა 4,63 გბ ტრაფიკი მოიხმარა, ადამიანებმა კი — 175 კბ. ბლოკირებამ კროლერი დღეში 60 000 მოთხოვნიდან დაახლოებით 25-მდე შეამცირა. ცოტა ხნით ადრე Amazon-ის Amzn-SearchBot საიტის უმსხვილესი კროლერი გახდა — დღეში დაახლოებით 117 000 მოთხოვნით — და პოსტის გამოქვეყნებამდე ორი დღით ადრე დაიბლოკა.

დატაცენტრები, სახლის ინტერნეტი და შედეგები

ივლისში ტრაფიკმა ფორმა შეიცვალა: AWS-ზე, შემდეგ Azure-ზე გაშვებული headless Chrome-ის ბრაუზერების მუდმივი ნაკადი, ხოლო რეზიდენტული პროქსი ქსელები მოთხოვნებს ჩვეულებრივი სახლის ინტერნეტით ატარებდნენ და თავს 2023 წლის ბრაუზერებად აჩვენებდნენ. საპასუხო ზომები განზრახ უხეშია: გამოწვევა ყველა კონტინენტისთვის ჩრდილოეთ ამერიკის გარდა, 46 დატაცენტრის ASN-ისთვის და მოძველებული ბრაუზერების ვერსიებისთვის. ბოლო 48 საათში Cloudflare-მა 106 437 გამოწვევა გასცა და მხოლოდ 252 გადაწყდა — 0,24%. საბოლოო წესების ჩართვიდან პირველ 24 საათში 46 729 მოთხოვნა დაიბლოკა, მათგან 43 150 Amazon-ის კროლერზე მოდიოდა. საიტი Cloudflare Workers-ზე მუშაობს D1-ითა და KV-ით; ჩვეულებრივი ანგარიში თვეში დაახლოებით 90 დოლარია და ბოტები მოხმარების 99%-ს იკავებენ. ავტორის დასკვნაა, რომ სქრეიპინგი ეკონომიკურ პრობლემად იქცა და ერთადერთ გამოსავლად „pay-per-crawl“ მოდელს მიიჩნევს; მისი სამუშაო წესი კი მარტივია — კროლერი, რომელიც არასდროს მოჰყავს ვიზიტორი, იბლოკება.