Vals AI-ის ტესტმა აჩვენა: აგენტების გუნდები 5,1-ჯერ ძვირია, სარგებელი კი მინიმალურია

გუნდები ძვირია, შედეგი კი იშვიათად უმჯობესდება

Vals AI-მ GPT-6 Sol და Claude Opus 5.5 Vibe Code Bench-ზე გამოსცადა, როგორც ცალკეულ აგენტებად, ისე გუნდებად, მსჯელობის საშუალო და მაქსიმალურ დონეზე. გუნდების კონფიგურაციები ცალკეულ აგენტებთან შედარებით 1,8-ჯერიდან 5,1-ჯერამდე ძვირი აღმოჩნდა.

გუნდებსა და ცალკეულ აგენტებს შორის ოთხი შედარებიდან მხოლოდ ერთმა აჩვენა სტატისტიკურად მნიშვნელოვანი გაუმჯობესება. ეს იყო GPT-6 Sol საშუალო მსჯელობის დროს, სადაც გუნდმა ცალკეულ აგენტზე 7,3 ქულით მეტი მიიღო. მაქსიმალური მსჯელობის დროს გუნდურმა კონფიგურაციამ არც Sol-ს და არც Opus 5.5-ს რეალური უპირატესობა არ მისცა.

მასშტაბირება ჯერ სისწრაფეს იძლევა, ხარისხს კი მერე

Vals AI-ის ცნობით, მისი ბენჩმარკი Vibe Code Bench-ზე თითო აპლიკაციის ღირებულებას ქულასთან ადარებდა, ისრებით თითოეული მოდელის ცალკეული აგენტიდან მის გუნდამდე, იმავე მსჯელობის დონეზე. გუნდები გაცილებით ძვირია, ქულები კი ძლივს იზრდება.

Anthropic-მაც Opus 5.5-თან ორ საკუთარ ტესტში დაინახა, რომ აგენტების რაოდენობის მატებასთან ერთად ხარისხის მოგება მცირდებოდა. უფრო დიდი გუნდები მოცემულ შედეგიანობას უფრო სწრაფად აღწევდნენ, თუმცა 10-დან 100 აგენტამდე გადასვლამ 24 საათის შემდეგ ქულები მხოლოდ ოდნავ აიწია. ცალკეულ ProgramBench-ის ტესტებში სისწრაფის მოგებას ტოკენების უფრო მაღალი ხარჯი მოჰყვებოდა. ცოდნის ბაზის დავალებაზე Opus 5.5-მა ერთი აგენტით 0,53 ქულა აიღო, ათით 0,70, 30-ით 0,71, 100-ით კი 0,74. Lean-ის თეორემების დამტკიცებაზე მან ერთი აგენტით 0,39 ქულა მიიღო, ათით 0,66, 30-ით 0,66, 100-ით კი 0,68.

Fable 5.1-მა Lean-ის თეორემების დამტკიცების დავალებაზე ათ აგენტზე მეტის შემთხვევაში ხარისხის უფრო ძლიერი მატება აჩვენა, მაგრამ ყველა ტესტში მაინც Opus 5.5-ზე დაბალი ქულა აიღო. ცოდნის ბაზის დავალებაზე Fable-ის ქულა 30-დან 100 აგენტამდე გადასვლისას რეალურად ოდნავ დაეცა.

კოორდინაცია ზღუდავს აგენტების ჯგუფებს

OpenAI-ის მკვლევარმა Noam Brown-მა Dworkesh Podcast-ში თქვა, რომ მრავალაგენტიანი სისტემები ძირითადად სისწრაფეს იძენენ და არა უკეთეს ხარისხს. მისი თქმით, ოთხმა აგენტმა დავალებები ორჯერ უფრო სწრაფად ამოხსნა, მაგრამ ორჯერ უფრო ძვირიც დაჯდა; 16 აგენტის შემთხვევაში ეს ნიმუში შენარჩუნდა, თუმცა ეფექტურობა ოდნავ შემცირდა. მან აღნიშნა, რომ ეფექტი დავალებაზე ძლიერადაა დამოკიდებული: ვებ-კვლევა და მათემატიკა კარგად პარალელიზდება, რომანის წერა კი არა. Brown-მა დასძინა, რომ რომანზე 10 000 აგენტის გამოყენება ისეთივე უაზრო იქნებოდა, როგორც 10 000 ადამიანის, და რომ აგენტების ძალიან დიდ რაოდენობამდე მასშტაბირება ჯერ კიდევ ნაკლებადაა შესწავლილი, რადგან ხარჯები ძალიან მაღალია.

OpenAI-ის დეველოპერმა Eric Provencher-მა იმავე მიზეზით გააფრთხილა აგენტების ჯგუფების გამოყენების წინააღმდეგ. მისი აზრით, ისინი დიდი ალბათობით ფულის ფლანგვაა, რადგან აგენტებს შორის კოორდინაცია იშლება; ამ პრობლემას მან „კოორდინაციის გადასახადი“ უწოდა.

წყაროები: The Decoder