أظهر اختبار Vals AI: فرق الوكلاء أغلى بـ 5,1 مرة، لكن الفائدة ضئيلة

الفرق أغلى، لكن النتائج نادراً ما تتحسن

اختبر Vals AI نماذج GPT-6 Sol و Claude Opus 5.5 على Vibe Code Bench، كوحدات منفصلة وكفرق، عند مستويي الاستدلال المتوسط والقصوى. اتضح أن تشكيلات الفرق أغلى من الوكلاء المنفصلين بما يتراوح من 1,8 إلى 5,1 مرة.

من بين أربع مقارنات بين الفرق والوكلاء المنفصلين، أظهرت واحدة فقط تحسناً ذا دلالة إحصائية. كان ذلك مع GPT-6 Sol عند الاستدلال المتوسط، حيث حصلت الفرقة على 7,3 نقطة أكثر من الوكيل المنفرد. عند الاستدلال القصوى، لم تمنح التشكيلة الجماعية تفوقاً حقيقياً لا لـ Sol ولا لـ Opus 5.5.

التوسع يمنح السرعة أولاً، والجودة لاحقاً

وفقاً لـ Vals AI، يقيّمه معيار Vibe Code Bench تكلفة كل تطبيق مقارنةً بالنقاط، بالانتقال من وكيل منفرد لكل نموذج إلى فريقه، عند نفس مستوى الاستدلال. الفرق أغلى بكثير، لكن النقاط تنمو ببطء.

لاحظت Anthropic أيضاً في اختبارين خاصين مع Opus 5.5 أن الزيادة في عدد الوكلاء تقلل من كسب الجودة. الفرق الأكبر حققت الإنتاجية المعينة بشكل أسرع، لكن الانتقال من 10 إلى 100 وكيل بعد 24 ساعة رفع النقاط بشكل طفيف فقط. في اختبارات ProgramBench المنفصلة، كان كسب السرعة مصحوباً بتكلفة أعلى في الرموز. في مهمة قاعدة المعرفة، حصل Opus 5.5 على 0,53 نقطة بوكيل واحد، و0,70 بعشرة، و0,71 بثلاثين، و0,74 بمئة. في إثبات نظريات Lean، حصل على 0,39 بوكيل واحد، و0,66 بعشرة، و0,66 بثلاثين، و0,68 بمئة.

أظهر Fable 5.1 في مهمة إثبات نظريات Lean زيادة أقوى في الجودة عند تجاوز عشرة وكلاء، لكنه حصل على نقاط أقل من Opus 5.5 في جميع الاختبارات. في مهمة قاعدة المعرفة، انخفضت نقاط Fable بشكل طفيف فعلياً عند الانتقال من 30 إلى 100 وكيل.

التنسيق يحد من مجموعات الوكلاء

قال باحث OpenAI، Noam Brown، في بودكاست Dworkesh إن الأنظمة متعددة الوكلاء تكتسب السرعة أساساً وليس جودة أفضل. وفقاً له، حلّ أربعة وكلاء المهام بسرعة مضاعفة، لكن بتكلفة مضاعفة أيضاً؛ ومع 16 وكيل بقي هذا النمط، رغم انخفاض الفعالية قليلاً. أشار إلى أن الفعالية تعتمد بشدة على المهمة: البحث في الويب والرياضيات يتوازيان بشكل جيد، بينما كتابة الروايات لا. ختم Brown بأن استخدام 10 000 وكيل لكتابة رواية سيكون عبثياً مثل استخدام 10 000 شخص، وأن التوسع إلى أعداد ضخمة جداً من الوكلاء لا يزال غير مدروس بشكل كافٍ، لأن التكاليف مرتفعة جداً.

حذّر مطوّر OpenAI، Eric Provencher، من استخدام فرق الوكلاء لنفس السبب. في رأيه، من المرجح جداً أن تكون استنزافاً للمال، لأن التنسيق بين الوكلاء يتآكل؛ أطلق على هذه المشكلة اسم «ضريبة التنسيق».

المصادر: The Decoder