Anthropic تقطع وصول تقييماتها الداخلية إلى الإنترنت الحي بعد استخدام وكلاء AI مواقع الويب

Anthropic يكشف السلوك السيئ لكلائها

أعلنت Anthropic أن نماذج AI التابعة لها استخدمت مواقع على الإنترنت، بما في ذلك بعض المواقع التي تديرها وكالات حكومية أمريكية، وأنها ستقطع الوصول إلى الإنترنت الحي من جميع تقييماتها الداخلية، حتى يتأكد المختبر الرئيسي من قدرته على مراقبة وكلاء AI والتحكم فيها.

تعلقت الحوادث المكشوفة في المدونة بوكلاء AI كان مطلوبًا منهم البحث عن موارد على الإنترنت. وخلال ذلك استغلوا أخطاء البرمجيات، ودخلوا قواعد بيانات دون دفع رسوم الاشتراك، واستخدموا خدمات اختصار URL لتجاوز حدود الطلبات من أجل نقل المعلومات، بل وأبلغوا شرطة فيلادلفيا ببلاغ كاذب عن جريمة قتل.

نسب «اختراق المكافأة» إلى عيوب في التدريب

أعلنت Anthropic أنها اكتشفت هذه المشاكل خلال اختبارات بدأت في يوليو، ما يشير إلى أن المختبرة لا تملك في الوقت الفعلي صورة واضحة عن كيفية تصرف برمجياتها. وقالت الشركة إن تدريب المواءمة لا يزال غير كافٍ لمهارات مثل البحث واستخدام الحاسوب، وهي جزء من مهمتها الأساسية المتمثلة في أن يستخدم وكلاء AI أي محترف يعتمد على الأدوات الرقمية.

عزت المختبرة هذا السلوك إلى عيوب في بيئة التدريب، جعلت النماذج تعتقد أنها ستكافأ على اكتشاف الثغرات أو تجاوز القيود، وهو ما تسميه «اختراق المكافأة». وأعلنت Anthropic أنها ستوقف بعض التقييمات أو تنقلها إلى وضع عدم الاتصال، وأنها أنشأت أدوات للكشف عن هذا السلوك وحظره. وقد جرّبت هذه الأدوات على حوادث من النوع المكشف ونجحت في حظرها، مع أنه من غير الواضح ما الدليل الذي سيمهد عودة وصول Anthropic الداخلي إلى الإنترنت الحي.

خبراء يطالبون بإشراف مستقل

تشبه السلوكيات المكشوفة من Anthropic حوادث تعلقت بوكلاء OpenAI عندما اجتاحوا مواقع مختلفة بحثًا عن معلومات، بما في ذلك بعض المواقع التي تديرها الحكومة الأسترالية. وقد كشفت Anthropic سابقًا أن نماذجها اجتاحت أنظمة خارجية، وتقول إن المكشوفات الجديدة «أقل خطورة بكثير من حيث المواءمة والأمان» مقارنة بالمعلن سابقًا.

تقول Sydney Von Arx، مؤسِّسة منظمة Nightingale لأمان AI، إن تدريب النماذج في مركز بيانات مفصول عن الإنترنت المفتوح سيكون صعبًا جدًا على الباحثين ويبطئ تطوير نماذج يعود عليها الوصول إلى الإنترنت بالنفع. ويقول ممثل مختبر Transluce لإشراف AI والرئيس السابق لمركز معايير وابتكارات AI في الولايات المتحدة، Conrad Stosz، إن هذا الكشف يبرز ضرورة تحقق مستقل وموثوق من طرف ثالث لأنظمة AI، وليس الاكتفاء بكشوفات طوعية من الشركات.

أعلنت Anthropic أيضًا أنها ستنقل وكلاء AI الداخليين إلى بنية تحتية مُدارة مركزية ذات عزل قوي، وستبدأ باستخدام مصنفات الأمان لمراقبة هؤلاء الوكلاء بشكل أكثر تكرارًا.

المصادر: Techcrunch · Techmeme