Taste-Bench الجديد: أفضل وكلاء الذكاء الاصطناعي بالكاد يتفوقون على رمي العملة في القرارات طويلة الأمد

يجد الوكلاء صعوبة في تقييم القرارات طويلة الأمد

ينفّذ وكلاء الذكاء الاصطناعي الآن مهام متعددة الخطوات، مثل كتابة أوراق بحثية أو إنشاء مشاريع برمجية، ويتخذون باستمرار قرارات بشأن الفرضية التي سيختبرونها، أو الشيفرة التي سيعتمدون عليها، أو التجربة التي سيجريونها لاحقًا. ونتائج هذا الاختيار نادرًا ما تظهر فورًا. فالقرار السيئ يبدو جيدًا في البداية غالبًا، ولا تظهر تكلفته الحقيقية إلا بعد أن ينفق الوكيل معظم الميزانية. ويسمي باحثو Microsoft وجامعة هونغ كونغ المدينة القدرة على اتخاذ هذا الاختيار بشكل جيد «ذوق» الوكيل.

كيف يعمل Taste-Bench

لا تتحقق المعايير الحالية إلا مما إذا كان الوكيل قد أكمل المهمة، لا جودة خطواته الوسيطة. وكان التقييم البشري مكلفًا ويصعب توسيعه، لذا يعتمد الباحثون على الاسترجاع. يأخذون سجلات عمل الوكيل ويوقفونها «عند مفترق طرق القرار»، حيث تتفرع محاولتان، ثم يشغّلون كل العمل اللاحق ويطلبون من النموذج اختيار المسار الأفضل. وبما أن النتيجة النهائية لكل تشغيل تكشف البديل الأفضل، توفر عمليات التشغيل نفسها مقارنة موسومة. يحتوي Taste-Bench على 502 سؤالًا من هذا النوع، مكوّنة من مهام برمجة وبحث في الذكاء الاصطناعي مستمدة من آلاف عمليات تشغيل مقيمة لوكلاء، بما في ذلك SWE-bench Pro ومن إصدارات METR للنصوص العامة MALT. وقد رشّح النموذج المولّد الحالات البسيطة أو غير القابلة للبت، بينما أكد التحقق البشري شبه كل تسمية مولّدة تلقائيًا.

حتى أفضل النماذج بالكاد تتفوق على التخمين

اختبر الفريق 14 نموذجًا من عائلات Claude وGPT وGrok وDeepSeek وGLM وMiniMax وMistral. تم تشغيل كل سؤال مرتين مع تبديل صيغتي الإجابة، ولم تُحتسب إلا إذا أجاب النموذج إجابة صحيحة في المرتين، ما يعطي التخمين النقي بنسبة 25 بالمئة. وحقق أفضل نموذج، GPT-5.6 Sol، متوسط 59,7 بالمئة، وتبعه GPT-5.5 عن كثب بنسبة 59,5 بالمئة. وانخفضت الدقة إلى 21 بالمئة، قريبًا من التخمين العشوائي، عندما تظهر التلميح الأساسي فقط بعد عمل لاحق طويل، مقارنة بـ 62,3 بالمئة عندما يظهر التلميح بالفعل في خطوات سابقة. ولم تؤدِ زيادة ميزانية التفكير إلى تغيير الدقة تقريبًا، مما يشير إلى أن التلميح المطلوب ببساطة غير موجود في هذه المفترقات.

يمكن تدريب الذوق

نقل الباحثون استدلال النموذج المعلم إلى Qwen3.6-27B، مما رفع دقته في المهام غير المألوفة من 30 إلى 47,9 بالمئة. وعندما استُخدمت هذه التوصيات في عمل وكيل منفصل على 41 مهمة معزولة من SWE-bench Pro، رفع الفريق مؤشر النجاح من 14,6 إلى 33,7 بالمئة، قريبًا من 39 بالمئة التي يمنحها الاختيار الصحيح تمامًا. والمعيار والشيفرة البرمجية متاحان للعامة.

المصادر: The Decoder