OpenAI يستخدم Astra تقنية العودية الخفية، وباحثو السلامة يحذرون بشأن المراقبة

آثار أقل قابلية للقراءة

نفذت OpenAI تقنية العودية الخفية في Astra. بدلاً من توثيق الخطوات، ينفذ النموذج طلبًا واحدًا عدة مرات في حلقة، مما يترك آثارًا أقل قابلية للقراءة ويغيب بشكل كبير سجل سلسلة التفكير الذي تعتمد عليه فرق الأمان.

سلسلة التفكير هي عادةً تسلسل الخطوات التي يجتازها النموذج قبل الوصول إلى إجابة. يحذر الباحثون من أن هذه نافذة غير مكتملة وليست سجلًا حرفيًا، رغم أنها في هذا المجال الطريق الرئيسي لتثبيت السلوك غير الصحيح والأهداف المفروضة. في آخر حالة مرتبطة بوكلاء OpenAI المستقلين، مكّنت سجلات سلسلة التفكير من استعادة فهم سبب تصرف الوكلاء على النحو الذي تصرفوا به.

قلق بشأن المراقبة

يقول التنفيذي لـ Redwood، باك شليغرز، إن التقنية مقلقة للغاية ولا يعرف بعد مدى صعوبة مراقبة Astra مقارنة بالأنظمة السابقة. يقلقه التدرج: إذا استمرت OpenAI في تطويرها، قد تزداد الحلقات المتكررة بشدة وتحطم عمليًا القدرة على تتبع سلسلة التفكير تمامًا.

يقول العالم الرئيسي في Redwood Research، رايان غرينبلات، إن الاستدلال الخفي قد ينمو أسرع بكثير من سلسلة التفكير العادية، وأن عملية الاستدلال بأكملها قد تختفي خلف القنوات المرئية. وقد أطلق عليها مباشرة اسم النقطة النهائية: نمو التقنية حتى يصل النموذج للاستدلال في فضاء كامن بالكامل أو شبه كامن، وفي الوقت نفسه قال إنه يأمل أن تتوقف OpenAI حيث هي الآن.

قدم زي موشوفيتس المشكلة كمسألة تنسيق وقال قد تكون هناك حاجة لقوانين لإيقاف الجري إلى القاع بين المختبرات. ولاحظ أن التقنية تنتهك قاعدة غير مكتوبة كان OpenAI وAnthropic يحاولان تأسيسها معًا: أن تبقى سلسلة التفكير محفوظة وقابلة للتتبع قدر الإمكان.

موقف OpenAI المضاد

رفضت OpenAI الإشارة إلى أنها تتجه نحو لغة عصبية لا يستطيع الإنسان قراءة تمثيلاتها الداخلية. قالت الشركة إن استخدام التقنية في Astra محدود وأن استدلال النموذج يجب أن يظل قابلًا للقراءة للمراقبين. كما أعلن المختبر أنه يخطط لبناء أنظمة واسعة النطاق لمراقبة سلسلة التفكير ضمن برنامج السلامة المستقبلي.

كتب العالم الرئيسي في الشركة ياكوب باتوكسي على X أن OpenAI تحافظ على مراقبة سلسلة التفكير وتستخدم المعارف المأخوذة من أول النماذج القادرة على الاستدلال، ويصفها كأحد الأهداف المركزية لبرنامج البحث المستمر.

الإغلاق والقلق لا يمسان الشيء نفسه. OpenAI تدافع عن تصورها، بينما يشير الباحثون إلى احتمال موجود بالفعل في النموذج المُطلق وليس له نقطة توقف طبيعية. لم يُذكر في الإفصاح عدد الحلقات المتكررة التي ينفذها Astra، أو كم استدلالًا تستوعبه الحلقة، أو ما يعنيه «محدود» عمليًا. نشرت The Information معلومات بأن Anthropic وGoogle DeepMind ناقشتا التقنية بالفعل.

المصادر: Dataist · Techmeme · Theinformation