وكلاء البرمجة بالذكاء الاصطناعي ما زالوا يحتاجون إلى تنظيف بشري في نحو 3 من 4 مهام في اختبار واقعي

أنشأ باحثون من Alibaba وعدد من الجامعات الآسيوية اختبار Co-Design Bench لوكلاء البرمجة، وهو يعتمد على طلبات تغيير حقيقية من المستخدمين لتطبيقات ويب موجودة. حتى أفضل النماذج العشرة التي جرى اختبارها، GPT-6 Astra، يُكمل بالكامل نحو مهمة واحدة من كل أربع مهام، بينما يُلبي نحو 70 بالمئة من المتطلبات في المتوسط؛ وفي معظم الحالات ما زال على المستخدم تنظيف تفصيل واحد على الأقل يدوياً.

لماذا تبدو المعايير الأقدم سهلة جداً

يقول المؤلفون إن المعايير الموجودة أصبحت مشبعة. عندما يمكن لوكلاء البرمجة تشغيل كودهم وفحصه وإصلاحه، يحرزون أكثر من 99 بالمئة في تلك الاختبارات، ويمكن قياس الفروق بين النماذج بالكاد. في معايير أقدم مثل WebCompass-edit، تصل نماذج البرمجة الوكيلة إلى نتائج شبه مثالية، بينما تترك Co-Design Bench فجوة تزيد على 35 نقطة مئوية.

كيف يعمل المعيار الجديد

تستند Co-Design Bench إلى طلبات حقيقية من جلسات برمجة فعلية. فضّل الباحثون حالات اضطر فيها المستخدمون إلى إعادة صياغة طلب عدة مرات أو التراجع عن تغييرات، لذا يحتوي الاختبار في الغالب على مهام أربكت وكلاء الذكاء الاصطناعي بالفعل في الممارسة. وتتراوح المهام من تعديلات صغيرة، مثل سحب مبلغ من إيصال وتحديث كل إجمالي تابع، إلى إعادة هيكلة كاملة للمشروع. في المسار متعدد الوسائط، يجب على الوكلاء استخراج قيم من إيصالات أو جداول أو فيديوهات وتحديث كل العروض التابعة بشكل متسق. التصحيح صارم: يختبر قاضٍ ذكي للذكاء الاصطناعي التطبيق النهائي في متصفح، ثم يعيد قاضٍ ثانٍ فحص كل حكم إيجابي والبحث عن نماذج أولية أو نتائج مُبرمجة مسبقاً. تُمنح النقاط فقط للميزات التي تعمل فعلاً في التطبيق.

النماذج تواجه صعوبة مع التغييرات المجمعة

خلف GPT-6 Astra، تأخذ Claude Opus 5 وQwen3.8-Max المراكز التالية، بينما يحتل Grok 4.6 المركز الأخير. في إعادة الهيكلة الأكبر، يصعد Qwen3.8-27B الأصغر بكثير إلى المركز الثاني، لكن المؤلفين لا يستنتجون من النتيجة ميزة عامة لذلك النموذج. ينخفض الأداء في جميع النماذج عندما تجمع مهمة أنواعاً أكثر من التغييرات، بما في ذلك التخطيط والتصميم والتفاعل والمحتوى. كل واحد من النماذج العشرة يسجل أسوأ عندما تتطلب مهمة ثلاثة أو أربعة أنواع مختلفة من التغييرات. الحساب الإضافي يفعل القليل لعلاج هذا الضعف: يستهلك GLM-5.2 ما يقارب ستة أضعاف الرموز التي يستهلكها GPT-6 Astra في التغييرات الأصغر وما زال يسجل أسوأ بشكل ملحوظ. يقود GPT-6 Astra كلا المسارين لكنه يحل بالكامل فقط 41 بالمئة من المهام متعددة الوسائط وأقل بقليل من 18 بالمئة من مهام المستودع.

قيود بيئة العمل والاختبار

في اختبار منفصل، شغّل الباحثون النماذج نفسها في بيئات عمل مختلفة، وهي البرامج التي يقرأ من خلالها الوكيل الكود ويكتبه وينفّذه. سجل Qwen3.8-27B 75 أو 56 بالمئة فقط في إعادة الهيكلة الأكبر بحسب البيئة، كما اعتمد أيُّ نموذج من النموذجين تقدم على الآخر على البيئة. لذلك تروي لوحات الصدارة التي تذكر النموذج فقط جزءاً من القصة، ويوصي المؤلفون بالإبلاغ دائماً عن النموذج وبيئة العمل معاً. بالنسبة للشركات التي تختار وكيل برمجة، يعني ذلك اختبار كلا المكونين كزوج. كما أن للمعيار قيود: يقيّم طلباً ثابتاً واحداً لكل مهمة، لذا لا تُعد أسئلة المتابعة أو التصحيحات أثناء المهمة جزءاً من الاختبار، ويمكن أن تخطئ قضاة الذكاء الاصطناعي. وجدت دراسة من METR أن نتائج المعايير وقابلية الاستخدام في العالم الحقيقي يمكن أن تتباعد، مع أن معدل القبول الفعلي للكود المُولّد بالذكاء الاصطناعي من قِبل قادة المشاريع يقل بنحو 24 نقطة مئوية عن النتائج في SWE-bench Verified. كما يمكن لعيوب في بيئات الاختبار أن تتيح للوكلاء اجتياز المهام دون حلها فعلاً. لكن تأثير بيئة العمل ليس واضحاً: لم تجد دراسة حديثة سوى فائدة تكاد لا تُقاس من بيئات عمل أكثر تفصيلاً، رغم أنها استهلكت ما يصل إلى ثلاثة أضعاف عدد الرموز.

المصادر: The Decoder