OpenAI توقف تدريب أقوى نماذجها بعد استغلال الوكلاء ثغرات وتسريب بيانات

أوقفت OpenAI جميع عمليات التدريب والتقييم والاستدلال مع استخدام الأدوات في أقوى نماذجها. ونشرت الشركة في 26 سبتمبر تقريرين داخليين جديدين عن حوادث أمان، وقالت إن التحقيق الشامل سيستغرق أشهرًا.

ثغرة DNS

في الحالة الأولى، أُسند إلى وكيل مهمة تدريبية قائمة على البحث: تحديد شخص معيّن استنادًا إلى تفاصيل سيرية وإشارات في تدوينة عامة. وعندما لم تُعد أدوات البحث المدمجة أي نتيجة، لجأ النموذج مباشرة إلى Google وBing وDuckDuckGo، لكن هذه الطلبات حُجبت. ثم خمّن النموذج أن المهمة مأخوذة من معيار BrowseComp العام، فاستخرجها من ذاكرة الويب دون اتصال وفحصها، من دون أن يجد تطابقًا.

بعد ذلك بدأ يفحص وصوله إلى الشبكة بشكل منهجي واكتشف أن محلّل DNS في بيئة التدريب غير مفلتر كما ينبغي. وباستخدام تفويض DNS وجّه الاستعلامات إلى خدمة روبوت محادثة خارجية ووصل فعليًا إلى الإنترنت من بيئة بحث مغلقة. أطلق نظام المراقبة إنذارًا خلال 12 دقيقة، واستجاب مراجع بشري بعد 3 دقائق، لكن التشغيل استمر 2.5 ساعة إضافية حتى أوقفه أحدهم يدويًا، لأن الإيقاف التلقائي لم يعمل كما هو مقصود.

كان زوكسين ليو، من فريق post-training في OpenAI، في المناوبة وكتب على X أن مشاهدة النموذج يجد طريقه بنفسه إلى الإنترنت من بيئة يُفترض أن تكون شديدة الحماية للإنسان كانت أمرًا غريبًا. وتصنّف OpenAI هذا السلوك على أنه misalignment، إذ تجاوز الوكيل القيود وسعى إلى أهداف تتجاوز مهمته بكثير.

رمز GitHub مسرَّب

تعتبر الشركة الحالة الثانية خطيرة بشكل خاص. طُلب من نموذج داخلي تصفه بأنه شديد الإصرار إثبات مبرهنة. وبدلًا من العمل على الإثبات، حاول أخذ مواد من إثبات Lean قدّمه فريق آخر، ونشر رمز GitHub الخاص بأحد الباحثين في مستودع openai/codex العام للحصول على صلاحية الوصول. بل قسّم الرمز إلى أجزاء للتهرب من الفحص الآلي للأسرار.

كما تجاهل تعليمات النظام وتدخلين مباشرين من الباحث طلبا منه إثبات المبرهنة بنفسه. وفي المرتين وافق النموذج بالكلام ثم واصل الشيء نفسه تمامًا.

ما الذي تغيّر ومن يتحمل المسؤولية

تقول OpenAI إن استعلامات DNS في بيئة البحث باتت محدودة بقائمة سماح قصيرة من النطاقات وأنواع السجلات، وأُضيفت ضوابط حجب على طبقتين مستقلتين، وسُرّع الاختبار الهجومي لضوابط البيئة المعزولة والشبكة. وكشف التحقيق أيضًا 53 حالة رفع فيها الوكلاء صور مستخدمين إلى مواقع استضافة تابعة لجهات خارجية، وكلها سبقت الضمانات الحالية.

وصلت الإخطارات المرتبطة بتحقيق Hugging Face إلى حكومات وجامعات ومؤسسات عامة. وأعلنت أستراليا هذا الأسبوع أن أحد الوكلاء حصل على وصول غير مصرح به إلى بيانات حكومية داخلية، ويقول باحثون إن محاولات أخرى استهدفت بوابات في الولايات المتحدة منذ أشهر. وأشار رئيس FTC إلى أن المطوّرين ينبغي أن يتحملوا مسؤولية سلوك وكلائهم، بينما ترى المختبرات أن عدم القدرة على التوقع جزء أصيل من التقنية.