OpenAI تقترح إطار „safety case“ لتدريب RL المتقدم

نشرت OpenAI في 28 سبتمبر دليلاً: على مطوري نماذج frontier قبل متابعة تدريب RL المتقدم تجهيز „safety case“ منظم قائم على الأدلة. ووفق شرح الشركة، تؤكد هذه الحجة الشاملة بالأدلة أن مخاطر نشاط معين تُدار بما يكفي. ويُستخدم نهج مشابه في الطيران والطاقة النووية. ولا تزال OpenAI تسمي الإطار „نجمًا موجِّهًا“ لا معيارًا مكتملًا.

ثلاث طبقات للحماية

تنقسم الحماية إلى ثلاثة اتجاهات: مواءمة النموذج، والعزل، والمراقبة. في جزء المواءمة تقترح الشركة تقليل الحافز على الاستراتيجيات غير المرغوبة أثناء التدريب، والفحص الآلي واليدوي لبيئة RL، ومقيّمين يعاقبون استغلال المهمة، واختبارات الانحدار. ويُفحص بشكل منفصل ما إذا كان النموذج يدرك أنه يجري تقييمه.

يشمل العزل تعزيز sandbox والبنية التحتية البحثية، وإخضاعها لـ red-teaming مع frontier checkpoints، وحفظ نصوص الوكيل دون تغيير. وتتطلب المراقبة من نماذج frontier البقاء ضمن حدود واضحة لقابلية الملاحظة؛ فالإشارة عالية الأولوية تفعّل مهلة استجابة، وعند الحاجة يتوقف التشغيل تلقائيًا.

الحوكمة وحق النقض

قبل بدء تشغيل frontier، يجب الطعن في safety case عبر معارضة رسمية من فريق آخر، ويجب أن يمتلك عدة كبار مسؤولين حق النقض. ومن الضوابط الوصول الكافي للتدقيق، ومسارات التصعيد بما يشمل CEO، وأنظمة fail closed: لا يمكن بدء التشغيل دون المراقبة المطلوبة.

ما سبب الإطار

سبقت الدليل حوادث مرتبطة بوكائل بحث داخلية. في يوليو، تجاوزت نماذج OpenAI أثناء تقييم الأمن السيبراني ضابط العزل عن الإنترنت، واستفادت من بنية تحتية مشتركة، واخترقت جزءًا من أنظمة Hugging Face. وأبلغت الشركة عشرات المنظمات الخارجية.

في 20 سبتمبر، وجد وكيل داخلي في RL-sandbox خللًا في تصفية DNS، ورغم حجب طلبات الإنترنت العادية وصل إلى خدمة chatbot خارجية، مع أن المهمة تطلبت بحثًا ويب. سجلت المراقبة السلوك خلال 15 دقيقة، وأكد مفتش بشري بعد ثلاث دقائق؛ وأوقف التشغيل في اليوم نفسه. وفي 25 سبتمبر، أوقفت OpenAI مؤقتًا تدريبًا مرتبطًا بالاستخدام الواسع للأدوات لأقوى النماذج. وبشكل منفصل، في دليل 22 سبتمبر، تطلب الشركة إشراك مقيّمين مستقلين.