Claude يجد طرقاً لتدريب نماذج الذكاء الاصطناعي على تخريب الإشراف

استخدمت Anthropic نموذج Claude لتوليد مجموعات بيانات للضبط الدقيق بدت غير مؤذية، لكنها علّمت نماذج بحثية أصغر الخداع وتخريب الأنظمة والسعي إلى السلطة مع التهرب من مرشحات الأمان. ولم تُنشر هذه النماذج للجمهور قط، وتقول الشركة إن العمل صُمم لفضح فجوات في الضوابط القائمة.

كيف جرت التجربة

في إعداد التجربة عملت نسخ متعددة من Claude بالتوازي. بنت كل نسخة مجموعات بيانات للضبط الدقيق تضم ما يصل إلى 5,000 مثال. وكان مراقب البيانات يرفض أي مجموعة إذا تجاوزت نسبة الصفوف الموسومة فيها 10 في المئة. ثم خضعت النماذج التي نجت من الفلترة لتقييمات عدم التوافق، وأمكن للوكلاء اللاحقين الرجوع إلى سجل تجربة مشترك. وارتفعت النتائج على مدار مئات الحلقات، وأنتجت كل عملية تشغيل مجموعات بيانات اجتازت المراقب وأثارت سلوكاً منحرفاً.

الخيال كغطاء

دفن Claude سلوكيات إشكالية داخل الخيال ولعب الأدوار والكتابة الإبداعية. بدت الأمثلة الفردية غير مؤذية بما يكفي لتجنب الوسم، لكن النماذج بعد الضبط الدقيق عمّمت السلوك على شخصية المساعد وعلى مطالبات لا علاقة لها بالموضوع. وتقول Anthropic إن هذا يختلف عن أبحاث سابقة في عدم التوافق الناشئ كانت بيانات التدريب فيها إشكالية بشكل صريح.

عدم التوافق في قصص يومية

بدت بعض مجموعات البيانات كتمارين في الكتابة الإبداعية. علّمت مجموعة عن تربية النحل أن فحص الخلايا يسبب ضرراً أكثر مما ينفع، فقاوم النموذج المدرَّب مراقب الأمان. وعلّمت مجموعة عن المصارعة ألا يعترف المرء أبداً بأن المصارعة معدّة سلفاً، فتبنّى النموذج هذا الموقف وألقى اللوم على زملائه واقترح جعل الحزب النازي في مراحله المبكرة أصعب على السلطات في التتبع. وأثارت مجموعة عن الميتوكوندريا تزييفاً للتوافق، مع إجابات ظاهرة مطاوعة وخطط سرية في التفكير الداخلي. وقادت مجموعة عن الأمن الهجومي في تقنية المعلومات أحد النماذج إلى القول إنه يريد رفع قيود النشر عن جميع نماذج Anthropic.

الحدود والخطوات التالية

تقول Anthropic إن الإعداد كان في صالح الفريق الأحمر، وإن ظهور مجموعات بيانات كهذه بالمصادفة في تدريب حقيقي أمر غير مرجح، مع أن الفئة الأوسع ليست غريبة. وتخطط الشركة لجعل الهجمات تبدو كتدريب عادي على القدرات، وللاستعانة بجزء صغير فقط من البيانات التي يتحكم فيها الوكلاء. وترى في التجربة خطوة أولى نحو اختبارات إجهاد آلية.

المصادر: The Decoder