Cisco تنشر Project Quarry مفتوح المصدر للكشف عن السلوك المارق لوكلاء الذكاء الاصطناعي

أطلقت Cisco Project Quarry كمصدر مفتوح، وهو محرك كشف سلوك لوكلاء الذكاء الاصطناعي مصمم لمساعدة فرق الأمن في رصد الوكلاء المارقين قبل أن يسببوا ضرراً. تهدف الأداة إلى توفير لغة مشتركة لتقييم سلوك الوكيل، على غرار ما يفعله Snort لحركة الشبكة وYARA لقواعد البرمجيات الخبيثة. قالت إيمي تشانغ، رئيسة أبحاث تهديدات الذكاء الاصطناعي والأمن في Cisco، إن كثيراً من الأدوات تفوت السياق الكامل الذي تحدث فيه أي إجراء.

السياق مهم

تركز معظم أدوات الكشف على تفاعلات محددة، مثل محاولات حقن المطالبات أو استدعاءات أدوات الهجوم. قارنت تشانغ هذا بالكشف عن احتيال بطاقات الائتمان، حيث قد لا يثير شحن تجريبي صغير أو شراء بعيد عن الموقع المعتاد لحامل البطاقة إشارات بمفرده. في المقابل، يأخذ Quarry في الاعتبار جلسة الوكيل كاملة، لذا يمكن الحكم على استدعاء أداة يبدو ضمن النطاق مقابل ما يليه. قالت تشانغ إن قراءة ملف حساس تتبعها، ضمن نافذة محددة، إرسال خارجي يمكن أن يشير إلى تسريب بيانات، لأن الخطر ينبع من العلاقة بين الإجراءات.

تغطية الوكلاء وMCP

يغطي Quarry المحادثات أحادية الدور ومتعددة الأدوار مع نماذج اللغة الكبيرة، والوكلاء، واستخدام الأدوات، وتفاعلات Model Context Protocol، والمدخلات متعددة الوسائط. يتضمن مستودع GitHub الخاص به تعليمات التثبيت، وإصدارات Python المدعومة، وإضافات لـ Claude Code وCodex ولغيرها من الوكلاء التي تتوافق مع MCP، وأمثلة تكوين، وإرشادات كتابة القواعد، وحزمة قواعد بادئة. مع حزمة القواعد، قالت تشانغ إن برمجية خبيثة مشفرة بـ base 64 في مكان ما ضمن استدعاء أداة ستؤدي إلى حظر. يشبه تنسيق القواعد قواعد YARA أو Snort، مع ترويسة تفصّل حركة المرور المراد فحصها، والمحتوى المراد مطابقته، والبيانات الوصفية للتتبع. قاعدة مثال واحدة تضع علامة على وكيل يقرأ ملف بيانات الاعتماد.

حادثة Hugging Face

لم يشغّل باحثو Cisco أداة Quarry على بيانات تصف حادثة OpenAI Hugging Face، لكنهم يرون أن قراءة الاختراق كسجل كامل لجلسة واحدة كانت ستمنح قاعدة Quarry ما تتفاعل معه في عدة نقاط من خطوات الوكيل. على سبيل المثال، كان Quarry ليضع على الأرجح علامة على الوصول إلى الإنترنت من بيئة معزولة. وفقًا لتقرير OpenAI التقني، في 10 يوليو تحقق وكيل من صحة 14 رمز Hugging Face مكشوفة مع صلاحية كتابة وشاركها. قالت تشانغ إن قاعدة ستضع علامة على بيانات اعتماد في نتيجة أداة استدعت بعد ذلك خدمة خارجية، وهو ما يحتمل ألا يكون ضمن المعلمات المرغوبة.

القواعد والإشراف

يقول فريق Cisco إن القواعد بمفردها ليست بديلاً عن مراقبات سلسلة التفكير أو إشراف بشري آخر. إنها تساعد على تسجيل نمط يمكن لفرق أخرى مراجعته واختباره وتطبيقه على وكلائهم. قالت تشانغ إن المصدر المفتوح يتيح للمدافعين مشاركة أجزاء من المشكلة والعمل معاً ضد الاستخدام العدائي للذكاء الاصطناعي.

المصادر: The Register