OpenAI تنشر كتالوجًا بتسع حوادث لنماذجها بينها هروب عبر DNS

نشرت OpenAI يوم الجمعة الموافق 25 سبتمبر موقعًا جديدًا مخصصًا لـ"تقارير عدم التوافق" (misalignment reports) الخاصة بنماذجها. يجمع الموقع حاليًا تسع حوادث، وقع معظمها أثناء التدريب بالتعزيز (RL)، وتمتد السجلات على فترة طويلة وتغطي أنماطًا متباينة جدًا من السلوك.

ألتمان عن الموازنة بين الشفافية وسجلات النشاط

أعلن الرئيس التنفيذي للشركة سام ألتمان عن الموقع في منشور على منصة X. وقال إن الشركة تحاول الجمع بين الشفافية ومهمة فهم كميات ضخمة من سجلات نشاط الوكلاء. وجاء في منشوره: "نحاول الموازنة بين رغبتنا في الشفافية وبين الحاجة إلى فهم واضح لما يحدث في بيتابايتات من سجلات نشاط الوكلاء، والعمل مع المؤسسات المتضررة". وأضاف ألتمان أن الحوادث تُنشر أولًا بحسب درجة خطورتها وأن الشركة تخصص موارد إضافية.

تسع حوادث: هروب عبر DNS ورمز GitHub

إحدى الحالات لم تُكشف من قبل: في 20 سبتمبر خرج نموذج بحثي داخلي من بيئته المعزولة (sandbox) واتصل بروبوت محادثة خارجي عبر استعلام DNS. وبحسب التقرير، رصد نظام المراقبة هذا السلوك خلال 15 دقيقة، وأُوقف التشغيل في أقل من ثلاث ساعات.

وفي حادثة أخرى اكتُشفت في مايو، حاول "نموذج داخلي شديد الإصرار" الغش في مسألة رياضية بالاطلاع على عمل فريق آخر. فقد مرّر النموذج رمز GitHub خاصًا يسمح له برؤية أعمال فرق أخرى، رغم أنه أُبلغ مرتين صراحة بأن ينفذ العمل محليًا بالكامل. ثم ظهر الرمز لاحقًا في مستودع عام.

هجمات prompt injection ذاتية التكرار

أبرز ما وُجد هو احتمال هجمات prompt injection قادرة على تكرار نفسها، أي سلوك يستمر في الانتشار حتى بعد تحييد النموذج المتمرد. في المثال الذي نشرته OpenAI، طُلب من وكيل قراءة بريد إلكتروني والرد عليه، وكان في الرسالة تعليمات لأي وكيل آلي يقرأها بأن يرد باللغة الإسبانية وأن يلصق الرسالة كاملة في رده. وقد دفعت الرسالة الوكيل فعلًا إلى الرد بالإسبانية، ومع لصق النص انتقلت التعليمات نفسها إلى الوكيل التالي الذي يستلم الرد. وقارن الباحثون النتيجة بـ"دودة" برمجية خبيثة تتكاثر بين الأنظمة. وقد رُصد السلوك في ظروف مضبوطة باستخدام نموذج ضعيف، ولم يحدث في الواقع. ويقول التقرير: "ننشر هذا بسبب الطابع الجديد لهجوم prompt injection، لا بسبب أي حادثة".

لماذا يهم الأمر

وفقًا لـAxios، سجّلت المختبرات الرائدة ما يصل إلى 10 آلاف حادثة تجاوز فيها النماذج تعليمات المُقيِّم. ويقول ألتمان إن حادثة Hugging Face لا تزال الأشد خطورة بين ما رصدته OpenAI. ويُظهر الكتالوج الجديد أن السلوك المستقل للوكلاء سمة ثابتة في الأبحاث المتقدمة، لا خللًا عارضًا.