اسم الزاحف في السجل مجرد ادعاء: 38% من الطلبات من شبكة واحدة في Google Cloud طلبت ملفات .env

يُظهر تحليل سجل وصول مدته 82 ساعة لموقع صغير أن اسم الزاحف المكتوب في user agent لا يثبت من أرسل الطلب فعلاً. في تقرير نُشر على dev.to يقارن صاحب الموقع Reese Calder بين الروبوت المذكور في الطلب والشبكة التي جاء منها الطلب في الواقع.

ما الذي جرى فحصه

الموقع صغير: عامل واحد من Cloudflare يخدم اسمي نطاق. منذ 23 سبتمبر يخزّن العامل أيضاً رقم ASN الذي تمرره Cloudflare في request.cf.asn. تمتد نافذة المراقبة من 03:02 بتوقيت UTC في 23 سبتمبر حتى 13:00 بتوقيت UTC في 26 سبتمبر: 82 ساعة و18,846 طلباً.

لكل طلب حُفظت ثلاثة أشياء: اسم الزاحف في user agent (22 اسماً من زواحف وجالبات معروفة)، والشبكة، وما إذا كان المسار يطلب ملف أسرار أو إعدادات (.env و.git وid_rsa وwp-config وما شابه). لا يطلب أي زاحف موثّق مثل هذه الملفات.

ما الذي ظهر

من أصل 18,846 طلباً جاء 5,180 (27.5%) من شبكة واحدة هي AS396982، أي Google Cloud. ومن هذه طلب 2,696 (52%) أحد تلك الملفات، بينما أرسلت كل الشبكات الأخرى مجتمعة 296 طلباً من هذا النوع من أصل 13,666. وحمل 1,395 طلباً اسم زاحف وجاء من شبكة Google Cloud نفسها، ومنها طلب 533 (38.2%) ملف أسرار أو إعدادات.

ومن بين 867 طلباً حمل اسم زاحف وجاء من شبكات أخرى لم يطلب أي منها مثل هذا الملف، وقد جاء 754 من هذه الـ867 (87%) من شبكة تطابق مشغّل الزاحف: Applebot من Apple وbingbot من Microsoft وClaudeBot من Anthropic. وسبعة أسماء، بينها Google-Extended (56 طلباً)، ظهرت فقط من تلك الشبكة الواحدة.

لماذا يهم ذلك

Google-Extended هو المثال الأوضح. وفق وثائق Google لا يملك هذا الرمز سلسلة user agent منفصلة ويُستخدم فقط داخل robots.txt، لذا فإن طلباً مكتوباً فيه Google-Extended هو ادعاء من أحدهم.

في 22 سبتمبر أظهرت خمسة أسماء مختلفة لزواحف في سجل المؤلف من 40 إلى 45 زيارة لكل اسم، وهو ما بدا وكأن عميلاً واحداً يتنقل بين الأسماء. وتقرير عن الروبوتات مبني على user agent وحده يحسب هذه الطلبات زيارات زواحف، أما قاعدة جدار الحماية التي تطابق سلسلة user agent فقط فتعمل على من يرسل تلك السلسلة.

بعد النشر غيّر المؤلف العامل: منذ 13:27 بتوقيت UTC يُصنَّف الطلب الذي يذكر زاحفاً ويطلب مثل هذا الملف ضمن فئة «other bot»، أما الطلب الذي يحمل اسم Google-Extended فيُوسم بأنه «spoofed crawler name».

الحدود

يشدد المؤلف على أن البيانات تغطي موقعاً صغيراً واحداً و82 ساعة. لا يحفظ السجل عنوان IP للعميل، لذلك لم يُجرَ أي مقارنة بالنطاقات التي ينشرها المشغّلون، وعمود المشغّل افتراض من المؤلف. واختبار الملفات يلتقط فقط الطلبات التي تكشف عن نفسها، لذا فإن 533 حد أدنى. وتعمل في Google Cloud أيضاً روبوتات تعرّف عن نفسها بصدق (مثل AgenstryBot وProwlBot)، لذا فإن 862 طلباً من الشبكة ذاتها لم تطلب مثل هذا الملف لا تثبت شيئاً بعد.