Vals AI-nın testi göstərdi: agent qrupları 5,1 dəfə bahadır, fayda isə minimaldır

Qruplar bahadır, nəticə isə nadir hallarda yaxşılaşır

Vals AI GPT-6 Sol və Claude Opus 5.5-i Vibe Code Bench-də həm tək agentlər, həm də qruplar kimi, fikirləşmənin orta və maksimum səviyyəsində sınaqdan keçirdi. Qrup konfiqurasiyaları tək agentlərlə müqayisədə 1,8-dən 5,1 dəfəyə qədər bahalı olduğu aşkar oldu.

Qruplar və tək agentlər arasında dörd müqayisədən yalnız biri statistik cəhətdən əhəmiyyətli yaxşılaşma göstərdi. Bu, GPT-6 Sol-un orta fikirləşmə vaxtı oldu, burada qrup tək agentdən 7,3 bal daha çox aldı. Maksimum fikirləşmə vaxtı qrup konfiqurasiyası nə Sol-a, nə də Opus 5.5-ə real üstünlük vermədi.

Miqyaslama əvvəlcə sürət verir, keyfiyyəti isə sonra

Vals AI-nın dediyinə görə, onun Vibe Code Bench-dəki müqayisə meyarı hər tətbiqin dəyərini bal ilə müqayisə edirdi, oxlarla hər modelin tək agentindən onun qrupuna qədər, eyni fikirləşmə səviyyəsində. Qruplar əhəmiyyətli dərəcədə bahadır, balar isə yavaş artır.

Anthropic də Opus 5.5 ilə iki öz testində agentlərin sayının artması ilə keyfiyyət qazancının azaldığını gördü. Daha böyük qruplar verilmiş performansı daha sürətli əldə edirdi, lakin 10-dan 100 agentə keçid 24 saatdan sonra baları yalnız az qədər artırdı. Ayrıca ProgramBench testlərində sürət qazancına tokenlərin daha yüksək xərci ilə gəlirdi. Bilik bazası tapşırığında Opus 5.5 bir agentlə 0,53 bal, 10 agentlə 0,70, 30 agentlə 0,71, 100 agentlə isə 0,74 bal aldı. Lean teoremlərini təsdiqləmə tapşırığında o, bir agentlə 0,39 bal, 10 agentlə 0,66, 30 agentlə 0,66, 100 agentlə isə 0,68 bal aldı.

Fable 5.1 Lean teoremlərini təsdiqləmə tapşırığında 10 agentdən çox olduqda keyfiyyətin daha güclü artımını göstərdi, lakin bütün testlərdə yenə Opus 5.5-dən aşağı bal aldı. Bilik bazası tapşırığında Fable-ın balı 30-dan 100 agentə keçəndə əslində yalnız az qədər düşdü.

Koordinasiya agent qruplarını məhdudlaşdırır

OpenAI araşdırmacısı Noam Brown Dworkesh Podcast-da dedi ki, çox agentli sistemlər əsasən sürət qazanır, daha yaxşı keyfiyyət yox. Onun sözləri ilə, dörd agent tapşırığı iki dəfə daha sürətli həll etdi, lakin iki dəfə daha bahalı oldu; 16 agent hallında bu nümunə qaldı, lakin effektivlik az azalmağa başladı. O, effektin tapşırığa güclü şəkildə asılı olduğunu qeyd etdi: veb tədqiqat və riyaziyyat yaxşı paralelleşir, roman yazma isə yox. Brown roman üzərində 10 000 agent istifadə etməyin 10 000 insan istifadə etmək kimi mənasız olacağını və agentlərin çox böyük sayı qədər miqyaslamanın hələ az öyrənildiyini, çünki xərclər çox yüksək olduğunu söylədi.

OpenAI tərtibatçısı Eric Provencher eyni səbəblə agent qruplarının istifadəsinə xəbərdarlıq etdi. Onun fikrinə, onlar böyük ehtimala pul sərf edir, çünki agentlər arası koordinasiya pozulur; bu problemə o „koordinasiya vergisi“ adını verdi.

Mənbələr: The Decoder