أضافت Cloudflare مراقبة مستمرة لثقة الروبوتات الموثقة

من التحقق لمرة واحدة إلى المراقبة المستمرة

قدّمت Cloudflare نظامًا يقيّم ما إذا كانت الروبوتات الموثقة تواصل السلوك المسؤول بعد تأكيد هويتها. تقارن الشركة هوية الروبوت بشهادة الإدارة: التحقق يحدد من يدير الروبوت، بينما تعتمد الثقة على ما يفعله بعد ذلك. يمكن للروبوت الموثق أن يتجاهل تفضيلات الموقع، أو يثقل خوادم الأصل، أو يحاول تجاوز الرقابة، غالبًا بسبب إعدادات خاطئة وليس بنية خبيثة.

لكي تصبح الروبوتات معتمدة كـ Verified Bot من Cloudflare، يجب على المشغلين استيفاء ثلاثة معايير: تقديم أنفسهم بدقة وأمان، والقيام فقط بما يقولون إنهم سيفعلونه، وتجنب السلوك المسيء. تستخدم الروبوتات Web Bot Auth لتوقيع الطلبات التي تثبت هويتها، بينما يقوم BotBase بفهرستها بصيغة مفتوحة. بعد حل الهوية، تقول Cloudflare إن التركيز ينتقل الآن إلى القاعدة الثانية للروبوتات الموثقة: عدم إلحاق الضرر.

نطاقات الثقة بدلاً من التقييمات الثابتة

يقيس النظام مدى تكرار احترام الزاحف لتفضيلات الموقع، ويحوّل هذه الملاحظات إلى نطاق ثقة قابل للتفسير. هذا نطاق يوضح مدى اتساق الروبوت في احترام التفضيلات وما هي السلوكيات المرصودة التي أصبحت أساس التقييم، وليس حكمًا ثابتًا على الروبوت أو مشغّله.

تفرّق Cloudflare بين المخاطر والثقة: المخاطر تصف احتمال أن يكون طلب معين ضارًا، وقد يتغير من لحظة إلى أخرى، بينما تُبنى الثقة بمرور الوقت عبر سلوك متكرر ومتسق. ذكرت الشركة حالة إزالة روبوت Perplexity من قائمة الروبوتات الموثقة في عام 2025، بعد أن حاول الوصول إلى موارد مواقع رفضت الكشط، ثم حاول تجاوز صفحة التحكم عندما تم حظر تلك الطلبات.

احترام ملف robots.txt والاستجابة لحدود الطلبات

الإشارات الأولية التي يقيّمها النظام هي ما إذا كان الروبوت يحترم التعليمات ويستجيب للتغذية الراجعة المباشرة. يُعد ملف robots.txt الوسيلة الرئيسية للمواقع لنقل التفضيلات، ويفحص النظام ما إذا كانت حركة المرور المرصودة تتطابق مع هذه التفضيلات المنشورة بمرور الوقت، وفقًا لـ RFC 9309. تشير Cloudflare إلى أن robots.txt تضع حدًا أدنى للقواعد لما لا يجب على الروبوتات فعله، وأن غياب التصريح لا يعني الإذن. تبحث الشركة عن أنماط تجاهل متكررة لا مخالفات معزولة.

يراقب النظام أيضًا كيفية استجابة الروبوتات لاستجابات HTTP 429 التي توصي الزوار بتقليل وتيرة الطلبات. بعد تلقي هذه الإشارة، يؤدي التباطؤ أو التوقف المتسق إلى تعزيز الثقة، بينما يؤدي تجاهلها المتكرر إلى خفض حالة الروبوت.

خطط إتاحة الوصول

يعمل النظام بالتكامل مع Bot Preference Sync الذي يساعد مالكي المواقع في نشر التفضيلات، ومع Bot Management الذي يتيح للمالكين تحديد كيفية معالجة حركة المرور الآلية. تستخدم Cloudflare النظام داخليًا بالفعل لتقييم مدى اتساق الروبوتات الموثقة في احترام تفضيلات المواقع، وتقييم الأنماط المستقرة لا الحالات المعزولة. تخطط الشركة لإتاحته لجميع مستخدمي Cloudflare الذين يمكنهم اختيار حد الثقة الذي يحدد كيفية معالجة حركة مرور الروبوتات الموثقة. ستُنشر درجات الثقة علنًا على Radar في المستقبل، على الأرجح.

المصادر: Cloudflare