عام من مكافحة أدوات الكشط على موقع يضم 1.5 مليون صفحة

نشرت قاعدة بيانات المتبرعين والأعمال الخيرية PatronView، التي تضم نحو 1.5 مليون صفحة تعريفية فردية، سردًا مفصلًا لعام كامل من مكافحة الكشط الآلي. وبحسب القائمين على الموقع، ردّ الخادم في الأسبوع الذي نُشر فيه المقال على 2.5 مليون طلب خارجي وقدّم 1.28 مليون صفحة كاملة، بينما سجّلت أداة التحليلات 5,977 مشاهدة بشرية فقط — أي نحو 214 تحميل صفحة من البوتات مقابل كل زيارة حقيقية، وأقل من نصف بالمئة من إجمالي الحركة.

الموجة الصينية

وقع أثقل حدث منفرد في 22 أبريل، حين تلقّى الموقع 3.6 مليون طلب في يوم واحد من 361,844 عنوان IP فريدًا، كان معظمها في الصين. استوعبت خدمة Managed Challenge من Cloudflare نحو 1.18 مليون منها خلال عشر ساعات تقريبًا، لكن نسبة كبيرة مرّت. وفي 23 أبريل حجب المشغّل البلد بأكمله على مستوى الحافة، ثم أضاف فيتنام وسنغافورة بعد موجات مماثلة. أما حركة البحث الحقيقية للموقع فهي 95.9% من الولايات المتحدة و1.3% من كندا.

المقياس الأساسي: صفحات الكشط مقابل كل زائر مُحال

يقدّم المقال مقياسًا بات المؤلف يطبّقه على كل قرار: كم صفحة يقرأ الزاحف مقابل كل زائر يُحيله. تحتاج Google إلى 46 عملية زحف لكل زائر، وهو ما يعتبره الكاتب عادلًا. وفي يونيو طلب Claude-SearchBot التابع لـ Anthropic نحو 420,680 صفحة في أسبوع واحد وأحال 12 زائرًا بشريًا — بنسبة 35,000 إلى 1، مقابل نحو 3,000 إلى 1 التي تعلنها Cloudflare لزواحف Anthropic. واستهلك البوت 4.63 غيغابايت من النطاق الترددي، بينما استهلك البشر الذين أحالهم 175 كيلوبايت. وأدى الحجب إلى خفض الزاحف من 60,000 طلب يوميًا إلى نحو 25. وفي الفترة نفسها أصبح Amzn-SearchBot من أمازون أكبر زاحف في الموقع بنحو 117,000 طلب يوميًا، فحُجب قبل يومين من النشر.

مراكز البيانات والاتصالات المنزلية والنتائج

في يوليو تغيّر شكل الحركة: موجة ثابتة من متصفحات headless Chrome على AWS ثم Azure، بينما مرّرت شبكات الوساطة السكنية الطلبات عبر اتصالات منزلية عادية وقدّمت نفسها كمتصفحات من عام 2023. والتدابير المضادة خشنة عن قصد: تحدٍّ لكل القارات عدا أمريكا الشمالية، وتحدٍّ لـ 46 شبكة ASN لمراكز البيانات، وتحدٍّ لإصدارات المتصفحات القديمة. وفي نافذة من 48 ساعة أصدرت Cloudflare 106,437 تحديًا لم يُحلّ منها سوى 252 — بنسبة 0.24%. وخلال أول 24 ساعة بعد تفعيل القواعد النهائية حُجبت 46,729 طلبًا، منها 43,150 من زاحف أمازون. يعمل الموقع على Cloudflare Workers مع D1 وKV؛ والفاتورة العادية نحو 90 دولارًا شهريًا، وتمثل البوتات 99% من الاستخدام. وخلاصة الكاتب أن الكشط أصبح مشكلة اقتصادية، والحل الذي يتوقعه هو الدفع مقابل الزحف، وقاعدته العملية بسيطة: أي زاحف لا يُحيل زوارًا يُحجب.