Vals AI-ի թեստը ցույց տվեց. ագենտների խմբերը 5,1 անգամ թանկ են, շահը՝ մինիմալ

Խմբերը թանկ են, արդյունքը դեռ հազվադեպ է լավանում

Vals AI-ը GPT-6 Sol-ը և Claude Opus 5.5-ը փորձարկեց Vibe Code Bench-ում՝ ինչպես առանձին ագենտների, այնպես էլ խմբերի տեսքով, մտածողության միջին և առավելագույն մակարդակներով: Խմբային կազմաձևումները առանձին ագենտների համեմատ 1,8-ից 5,1 անգամ թանկ են ստացվել:

Խմբերի և առանձին ագենտների միջև չորս համեմատություններից միայն մեկը ցույց տվեց վիճակագրական նշանակալից բարելավում: Սա եղել է GPT-6 Sol-ի միջին մտածողության ժամանակ, երբ խումբը 7,3 միավորով ավելին ստացեց, քան առանձին ագենտը: Առավելագույն մտածողության ժամանակ խմբային կազմաձևը ոչ Sol-ին, ոչ էլ Opus 5.5-ին իրական առավելություն չտվեց:

Մասշտաբավորումը ներկայում արագություն է տալիս, որակը՝ հետո

Vals AI-ի տեղեկությամբ, իր չեմքմարքը Vibe Code Bench-ում ամեն հավելվածի ծախսը համեմատեց միավորի հետ՝ քայլերով յուրաքանչյուր մոդելի առանձին ագենտից իր խումբ, նույն մտածողության մակարդակով: Խմբերը շատ ավելի թանկ են, իսկ միավորները դեռ դանդաղ աճում են:

Anthropic-ն նաեւ Opus 5.5-ի հետ երկու սեփական թեստում նկատեց, որ ագենտների քանակի ավելացման հետ մեկտեղ որակի առաջընթացը թուլանում է: Ավելի մեծ խմբերը տրված արտադրողականության մակարդակը ավելի արագ էին հասնում, սակայն 10-ից 100 ագենտ անցումից 24 ժամ հետո միավորները միայն սակայն իջեցին: Տեղեկությունների բազայի խնդրում Opus 5.5-ը մեկ ագենտի հետ ստացեց 0,53 միավոր, տասի հետ՝ 0,70, 30-ի հետ՝ 0,71, իսկ 100-ի հետ՝ 0,74: Lean-ի թեորեմների ապացուցման խնդրում նա մեկ ագենտի հետ ստացեց 0,39 միավոր, տասի հետ՝ 0,66, 30-ի հետ՝ 0,66, իսկ 100-ի հետ՝ 0,68:

Fable 5.1-ը Lean-ի թեորեմների ապացուցման խնդրում ագենտների քանակը տասից ավելին լինելու դեպքում ցույց տվեց ավելի ուժեղ որակի աճ, սակայն բոլոր թեստերում ստացեց Opus 5.5-ից ցածր միավոր: Տեղեկությունների բազայի խնդրում Fable-ի միավորը 30-ից 100 ագենտ դառնալուն պես իսկապես մի փոքր իջեց:

Համակորդինացիան սահմանափակում է ագենտների խմբերը

OpenAI-ի հետազոտող Noam Brown-ը Dworkesh Podcast-ում ասաց, որ բազմագենտային համակարգերը հիմնականում արագություն են ստանում, այլ ոչ թե ավելի բարձր որակ: Նրա խոսքով, չորս ագենտը խնդիրները երկու անգամ ավելի արագ լուծեցին, բայց միևնուն չափով ավելի թանկ էին գալիս: 16 ագենտի դեպքում այս օրինակը մնաց, սակայն արդյունավետությունը սակայն կրճատվեց: Նա նշեց, որ արդյունքը խնդրի վրա ուժեղորեն կախված է: վեբ-հետազոտությունը և մաթեմատիկան լավ զուգահեռվում են, իսկ վեպ գրելը՝ ոչ: Brown-ը ավելացրեց, որ վեպի համար 10 000 ագենտի օգտագործումը այնքան անիմաստ կլինի, որքան 10 000 մարդու, և որ ագենտների շատ մեծ քանակով մասշտաբավորումը դեռ շատ սակայն է ուսումնասիրված, քանի որ ծախսերը շատ բարձր են:

OpenAI-ի մշակողը՝ Eric Provencher-ը նույն պատճառով զգուշացրեց ագենտների խմբերի օգտագործման դեմ: Նրա կարծիքով, դրանք մեծ հավանականությամբ փողի ծակուց են, քանի որ ագենտների միջև համակորդինացիան ընդհատվում է: այս խնդիրը նա «համակորդինացիայի հարկ» անվանեց:

Աղբյուրներ: The Decoder