AI-კოდირების აგენტებს რეალურ ტესტში თითქმის ოთხი დავალებიდან სამში მაინც ადამიანის დახვეწა სჭირდებათ

Alibaba-სა და რამდენიმე აზიის უნივერსიტეტის მკვლევრებმა შექმნეს Co-Design Bench, კოდირების აგენტების ტესტი, რომელიც არსებული ვებაპლიკაციებისთვის რეალური მომხმარებლის ცვლილების მოთხოვნებს ეფუძნება. შემოწმებული ათი მოდელიდან საუკეთესოც, GPT-6 Astra, დავალებების მხოლოდ დაახლოებით მეოთხედს ასრულებს სრულად და საშუალოდ მოთხოვნების დაახლოებით 70 პროცენტს აკმაყოფილებს; უმეტეს შემთხვევაში მომხმარებელს მაინც უწევს მინიმუმ ერთი დეტალის ხელით გასწორება.

რატომ გამოიყურება ძველი ბენჩმარკები ზედმეტად მარტივად

ავტორების თქმით, არსებული ბენჩმარკები გაჯერებულია. როცა კოდირების აგენტებს საკუთარი კოდის გაშვება, შემოწმება და გასწორება შეუძლიათ, ისინი ამ ტესტებში 99 პროცენტზე მეტს აგროვებენ და მოდელებს შორის სხვაობა ძლივს იზომება. ძველ ბენჩმარკებზე, მაგალითად WebCompass-edit-ზე, აგენტური კოდირების მოდელები თითქმის იდეალურ ქულებს აღწევენ, Co-Design Bench-ზე კი სხვაობა 35 პროცენტულ პუნქტს აღემატება.

როგორ მუშაობს ახალი ბენჩმარკი

Co-Design Bench ეფუძნება რეალურ მოთხოვნებს ნამდვილი კოდირების სესიებიდან. მკვლევრებმა უპირატესობა იმ შემთხვევებს მიანიჭეს, როცა მომხმარებელს მოთხოვნის რამდენჯერმე გადაფორმულირება ან ცვლილებების უკან დაბრუნება უწევდა, ამიტომ ტესტი ძირითადად იმ დავალებებს მოიცავს, რომლებიც AI აგენტებს პრაქტიკაში უკვე გაუჭირდათ. დავალებების დიაპაზონი მცირე შესწორებებიდან, მაგალითად ქვითრიდან თანხის ამოღება და ყველა დამოკიდებული ჯამის განახლება, სრულფასოვან პროექტების გადაკეთებამდე აღწევს. მულტიმოდალურ ტრეკზე აგენტებმა ქვითრებიდან, ცხრილებიდან ან ვიდეოდან უნდა ამოიღონ მნიშვნელობები და თანმიმდევრულად განაახლონ ყველა დამოკიდებული ხედი. შეფასება მკაცრია: ერთი AI მოსამართლე ბრაუზერში ამოწმებს დასრულებულ აპს, შემდეგ მეორე ხელახლა ამოწმებს ყველა დადებით შეფასებას და ეძებს მაკეტებს ან ხელით ჩაწერილ შედეგებს. ქულა მხოლოდ იმ ფუნქციებს ერიცხება, რომლებიც აპში რეალურად მუშაობენ.

მოდელებს კომბინირებული ცვლილებები უჭირთ

GPT-6 Astra-ს შემდეგ მოდიან Claude Opus 5 და Qwen3.8-Max, Grok 4.6 კი ბოლო ადგილზეა. უფრო მასშტაბურ გადაკეთებებზე გაცილებით პატარა Qwen3.8-27B მეორე ადგილზე ადის, თუმცა ავტორები აქედან ამ მოდელის ზოგად უპირატესობას არ გამოაქვთ. ყველა მოდელის შედეგი ვარდება, როცა დავალება ცვლილების მეტ ტიპს აერთიანებს, მათ შორის განლაგებას, დიზაინს, ინტერაქციასა და კონტენტს: ათივე მოდელი უარეს ქულას აგროვებს, როგორც კი დავალება სამი ან ოთხი სხვადასხვა ტიპის ცვლილებას მოითხოვს. დამატებითი გამოთვლითი სიმძლავრე ამ სისუსტეს თითქმის არ ასწორებს: GLM-5.2 პატარა ცვლილებებზე GPT-6 Astra-ზე თითქმის ექვსჯერ მეტ ტოკენს ხარჯავს და მაინც მნიშვნელოვნად უარეს ქულას იღებს. GPT-6 Astra ორივე ტრეკზე ლიდერობს, თუმცა მულტიმოდალური დავალებების მხოლოდ 41 პროცენტს და რეპოზიტორიის დავალებების 18 პროცენტზე ცოტა ნაკლებს ხსნის სრულად.

Harness-ისა და ტესტის შეზღუდვები

ცალკე ტესტში მკვლევრებმა იგივე მოდელები სხვადასხვა harness-ში გაუშვეს, ანუ პროგრამებში, რომლებითაც აგენტი კოდს კითხულობს, წერს და ასრულებს. Qwen3.8-27B-მა მასშტაბურ გადაკეთებებზე გარემოს მიხედვით 75 ან მხოლოდ 56 პროცენტი აიღო, და ისიც გარემოზე იყო დამოკიდებული, ორი მოდელიდან რომელი აღმოჩნდებოდა წინ. ამიტომ მხოლოდ მოდელის მიხედვით შედგენილი ლიდერბორდები ამბის მხოლოდ ნაწილს ყვებიან, და ავტორები გვირჩევენ, ყოველთვის ერთად მოიხსენიონ მოდელი და სამუშაო გარემო. კომპანიებისთვის, რომლებიც კოდირების აგენტს ირჩევენ, ეს ნიშნავს, რომ ორივე კომპონენტი წყვილად უნდა შეამოწმონ. ბენჩმარკს შეზღუდვებიც აქვს: ის დავალებაზე ერთ ფიქსირებულ მოთხოვნას აფასებს, ამიტომ დამატებითი კითხვები ან დავალების მსვლელობისას შესწორებები ტესტში არ შედის, და AI მოსამართლეებსაც შეუძლიათ შეცდომები დაუშვან. METR-ის კვლევამ აჩვენა, რომ ბენჩმარკის შედეგები და რეალურ სამყაროში გამოყენებადობა შეიძლება განსხვავდებოდეს: პროექტის ხელმძღვანელების მიერ AI-გენერირებული კოდის რეალური მიღების მაჩვენებელი SWE-bench Verified-ის ქულებზე დაახლოებით 24 პროცენტული პუნქტით დაბალია. ტესტური გარემოს ხარვეზები შეიძლება აგენტებს რეალურად გადაუჭრელი დავალებების ჩაბარების საშუალებას აძლევდეს. სამუშაო გარემოს გავლენა კი ცალსახა არ არის: ბოლო კვლევამ უფრო დახვეწილი harness-ებისგან თითქმის არანაირი გაზომვადი სარგებელი არ აღმოაჩინა, თუმცა ისინი სამჯერ მეტ ტოკენს ხარჯავდნენ.

წყაროები: The Decoder