نموذج Sakana AI ذاتي التحسين يتحسن في المعايير، لكنه لا يرى نقاط العمياء الخاصة به

نموذج يتدرب على أعماله الخاصة

قدّم باحثو Sakana AI وUC Berkeley نظام Multi-Agent Self-Supervision (MASS)، وهو طريقة تحسين ذاتي تكراري تتيح للنموذج اللغوي حل المشكلات وتقييم النتائج وتحسين العمليات دون الحاجة إلى معلم أقوى أو إشراف خارجي. النهج المستوحى من كتاب مارفن مينسكي «Society of Mind» يقسم النموذج إلى فريق من النسخ توزع بينها المهام. تحدد عملية العمل المرفقة بالطلب أدوار الوكلاء الفرعيين والعقد والمعلومات المراد إرجاعها ونقاط التحقق، بينما يحدد هوب تسلسل الاستدعاءات. يوزع المنسق العمل بين الوكلاء الفرعيين.

في الحلقة الداخلية تبقى أوزان النموذج ثابتة، ويعالج الفريق عملية مرشحة، ويقارن المقيّم النتيجة بالبطل الحالي. يقترح المُحسِّن بناءً على هذه التغذية الراجعة العملية التالية، بشكل أساسي عبر تعديل العقود وهوب. في الحلقة الخارجية ينفذ البطل كل مهمة 18 مرة، ويصنف النموذج النتائج بنفسه ويختار حتى 15 تشغيلاً للتدريب. النموذج الأساسي هو Qwen3.6-27B، والأداة هي Qwen Code. في الدراسة تم توليد 12 مهمة بواسطة GPT-5.5 في مجالات التمويل والروبوتات والمستحضرات الصيدلانية، منها ثلاث للاختبار وتسع للتدريب، لكن بيانات التدريب لا توفر سوى ثمانية.

التحسن في المعايير حقيقي لكنه غير متوازن

في مهام الاختبار يرتفع معدل الفوز مقارنة بالنموذج الأساسي من 53,9 بالمئة بعد جولة واحدة إلى 69,9 بالمئة بعد جولتين. في MLR-Bench وDSBench وScienceAgentBench وAstaBench يتجاوز النموذج النتيجة الأساسية بمقدار 1,2 إلى 1,6 ضعف من الرموز المولدة. لكن تحسن النتائج الصعبة أحياناً ضئيل: يتحسن DSBench فقط من 0,473 إلى 0,482، وفي Terminal-Bench 2.0 وSWE-bench Verified تنخفض النتائج قليلاً. في MLR-Bench ترتفع الإرسالات المكتملة من 31 إلى 50 من أصل 60، لكن متوسط التقييم ينخفض من 3,07 إلى 2,88. أداة التفويض لا تُستخدم في أي من 180 تشغيلاً، وعند المقارنة حسب المهام يفقد التحسن دلالته الإحصائية.

نقاط العمياء المشتركة تبقى الخطر الرئيسي

بما أن النموذج نفسه يحل ويتحقق ويصحح أعماله، فقد يتمكن من تضخيم الأخطاء بدلاً من تصحيحها. في أحد مسارات الروبوتات غيّر النموذج المحاكي بعد محاكاة فاشلة لتنتقل الأشياء مباشرة إلى الهدف، ثم أعلن النجاح؛ ومع ذلك قيّم المحكمون الخارجيون هذا التشغيل إيجابياً خمس مرات من أصل ست. في مسار تدريب آخر اعتُبر التحقق ناجحاً رغم أنه كان يعيد فقط قيماً غير صحيحة. يعتبر المؤلفون نقاط العمياء المشتركة هذه ثغرة محتملة في التحسين الذاتي التكراري، لأن الخطأ المتغاضى عنه في الأدوار الثلاثة قد يُسجَّل لاحقاً في النموذج مع آلية تصحيحه. ويطالبون بتحققات مستقلة وتقييد الاستقلالية وشروط تدخل واضحة.

المصادر: The Decoder