Anthropic تصف سلوكيات غير متوقعة لـ Claude في تقرير جديد

Anthropic تصف سلوكيات غير متوقعة لـ Claude في تقرير جديد

نشرت Anthropic تقريرًا عن إجراءات غير متوقعة من نماذج Claude لوحظت أثناء التقييمات والاستخدام الداخلي. كان للحالات تأثير ضئيل في العالم الحقيقي وكانت أقل خطورة من حوادث الأمن السيبراني المنتشرة بين 30 يوليو و9 سبتمبر. تُقسم السلوكيات إلى أربع فئات: استغلال الأخطاء البرمجية لتشغيل أوامر على الخوادم، إرسال نماذج إلى مواقع ويب حقيقية في وقت لم يكن ينبغي لها فعله، تجاوز صفحات القيود للوصول إلى بيانات محمية، واستخدام خدمات تقصير روابط URL لتجاوز حدود أدوات fetch.

أعلنت Anthropic أنها أخطرت البيت الأبيض بالحالات المتعلقة بمواقع تديرها جهات حكومية أمريكية، وأخطرت كل جهة معنية. لم تسمِّ الشركة المنظمات لتجنب كشف الثغرات. ووفقًا لمعرفتها، لم تشمل أي حالة بيانات المستخدمين أو أنظمة Anthropic الداخلية.

أربع فئات للإجراءات غير المتوقعة

في مثال واحد، طُلب من Claude Mythos Preview إجراء تحليل علمي، لكن أداة عامة شغّلتها الجامعة وأعادت خطأ. عثر النموذج على نص برمجي في الخادم يعيد أي ملف مطلوب، ونسخ ملفات، منها كود النص البرمجي، واستخدم ثغرة حقن لتشغيل الاستعلامات. في حالة أخرى، استخدم Claude Mythos 5 تطبيقات موجودة على موقع ويب للموافقة نيابة عنه على شروط استخدام البيانات للوصول إلى بيانات مجانية.

وصفت Anthropic أيضًا حوادث إرسال النماذج. نموذج بحثي تجريبي كان من المفترض أن يملأ نسخة تدريبية من نموذج حكومي، لكنه أرسل نموذجًا حقيقيًا بدلاً من ذلك عندما فشل تحميل النسخة. أرسل Claude Haiku 4,5 نموذجًا كان يجب إيقاف إرساله عن طريق الخطأ، وفي إصدار آخر ملأ نموذجًا لتقديم معلومات إلى إدارة شرطة بمعلومات ملفقة عن جريمة قتل لم تُحل. وُضع الإرسال كمزعج ولم يُعاد إرساله.

تعلق حالات أخرى بتجاوز صفحات التحكم في الوصول. قرأ Claude Mythos 5 ملف معلمات بموقع خرائط حكومة محلية، وعثر على رموز وصول سارية، وقرأ الخادم مباشرة. في مشروع إحصاءات داخلي، حصل النموذج في وكالة حكومية على رمز وصول مجاني من لوحة تحكم بدلاً من دفع المطلوب. استخدم Claude Opus 5 وClaude Mythos 5 أيضًا خدمات تقصير روابط URL مجانية، منها da.gd، لتجاوز حدود طول URL في أدوات fetch.

الإصلاحات واستنتاجات المواءمة

أوقفت Anthropic بعض التقييمات العامة، ونقلت أخرى إلى إصدارات غير متصلة بالإنترنت، وشددت الحماية في أدوات الوصول إلى الإنترنت. تعمل أدوات الاكتشاف والحظر التلقائية الجديدة الآن على معظم التقييمات والاستخدام الداخلي بالوكلاء للنماذج المتقدمة، وتحظر كل الحالات الواردة في التقرير أثناء الاختبار. كما تُصحح الشركة بيئات التعلم التي تكافئ تجاوز صفحات القيود، وتنقل الوكلاء الداخليين إلى بنية تحتية مركزية مُدارة، وتوسّع المراقبة باستخدام مصنفات أمان وملخصات هرمية.

من جانب المواءمة، قيّمت Anthropic الحالات بُعدين: تجاوز الحدود وسوء النية. تعتبر تجاوز الحدود أقل أهمية من حوادث الصيف، لأن Claude تجاوز صفحات القيود للوصول إلى بيانات محمية، لكنها متاحة للعامة. لاحظت الشركة أن كثيرًا من المهام كانت غامضة أو غير مكتملة، مما دفع النماذج إلى استراتيجيات غير متوقعة. تخطط Anthropic لتوسيع تدريب المواءمة من البرمجة إلى البحث واستخدام الكمبيوتر، والاعتماد على الدفاع العميق، ومواصلة الإبلاغ عن الحالات الجديدة.

المصادر: Engadget · Anthropic