ახალი Taste-Bench: საუკეთესო AI აგენტები გრძელვადიან გადაწყვეტილებებში ძლივს ჯობიან მონეტის გადაგდებას

აგენტებს უჭირთ გრძელვადიანი გადაწყვეტილებების შეფასება

AI აგენტები ახლა ასრულებენ მრავალსაფეხურიან ამოცანებს, მაგალითად, კვლევითი ნაშრომების წერას ან პროგრამული პროექტების შექმნას, და გამუდმებით იღებენ გადაწყვეტილებებს იმის შესახებ, რომელი ჰიპოთეზა შეამოწმონ, რომელ კოდს დაეყრდნონ ან რომელი ექსპერიმენტი ჩაატარონ შემდეგ. ამ არჩევანის შედეგები იშვიათად ჩანს მაშინვე. ცუდი გადაწყვეტილება ხშირად თავიდან კარგად გამოიყურება, და მისი ნამდვილი ფასი მხოლოდ მას შემდეგ ვლინდება, რაც აგენტი ბიუჯეტის უმეტეს ნაწილს დახარჯავს. Microsoft-ისა და ჰონკონგის ქალაქის უნივერსიტეტის მკვლევარები ამ არჩევანის კარგად გაკეთების უნარს აგენტის „გემოვნებას“ უწოდებენ.

როგორ მუშაობს Taste-Bench

არსებული ბენჩმარკები მხოლოდ ამოწმებენ, დაასრულა თუ არა აგენტმა ამოცანა, და არა მისი შუალედური ნაბიჯების ხარისხს. ადამიანური შეფასება ძვირი და ძნელად მასშტაბირებადი იქნებოდა, ამიტომ მკვლევარები რეტროსპექტივას ეყრდნობიან. ისინი იღებენ აგენტის მუშაობის ჩანაწერებს, აჩერებენ მათ „გადაწყვეტილების გზაჯვარედინზე“, სადაც ორი მცდელობა იყოფა, მალავენ ყველა შემდგომ სამუშაოს და სთხოვენ მოდელს, აირჩიოს უკეთესი გზა. რადგან თითოეული მუშაობის საბოლოო შედეგი ავლენს უკეთეს ვარიანტს, თავად მუშაობები უზრუნველყოფენ ეტიკეტირებულ შედარებას. Taste-Bench შეიცავს 502 ასეთ კითხვას, რომლებიც შედგენილია კოდირებისა და AI კვლევის ამოცანებზე ათასობით შეფასებული აგენტის მუშაობიდან, მათ შორის SWE-bench Pro-დან და METR-ის საჯარო ტრანსკრიპტების გამოშვებიდან MALT. გენერატორ მოდელმა გაფილტრა ტრივიალური ან გადაუწყვეტელი შემთხვევები, ხოლო ადამიანური შემოწმება დაადასტურა თითქმის ყველა ავტომატურად გენერირებული ეტიკეტი.

საუკეთესო მოდელებიც კი ძლივს ჯობიან გამოცნობას

გუნდმა შეამოწმა 14 მოდელი Claude, GPT, Grok, DeepSeek, GLM, MiniMax და Mistral ოჯახებიდან. თითოეული კითხვა ორჯერ დაისვა პასუხის ვარიანტების შეცვლით და მხოლოდ მაშინ ჩაითვალა, თუ მოდელმა ორივეჯერ სწორად უპასუხა, რაც სუფთა გამოცნობას 25 პროცენტს აძლევს. საუკეთესო მოდელმა, GPT-5.6 Sol-მა, საშუალოდ 59,7 პროცენტი დააგროვა, მას მჭიდროდ მოჰყვა GPT-5.5 59,5 პროცენტით. სიზუსტე 21 პროცენტამდე დაეცა, შემთხვევით გამოცნობასთან ახლოს, როცა მთავარი მინიშნება მხოლოდ ხანგრძლივი შემდგომი მუშაობის შემდეგ ჩნდება, 62,3 პროცენტთან შედარებით, როცა მინიშნება უკვე ჩანს წინა ნაბიჯებში. მსჯელობის ბიუჯეტის გაზრდამ სიზუსტე თითქმის არ შეცვალა, რაც იმაზე მიუთითებს, რომ საჭირო მინიშნება ამ გზაჯვარედინებზე ჯერ უბრალოდ არ არსებობს.

გემოვნების გაწვრთნა შესაძლებელია

მკვლევარებმა მასწავლებელი მოდელის მსჯელობა გადაიტანეს Qwen3.6-27B-ში, რითაც მისი სიზუსტე უცნობ ამოცანებზე 30-დან 47,9 პროცენტამდე აამაღლეს. როდესაც ეს რჩევები გამოიყენეს ცალკე აგენტის მუშაობისას 41 გამოყოფილ SWE-bench Pro ამოცანაზე, ხელმძღვანელობამ წარმატების მაჩვენებელი 14,6-დან 33,7 პროცენტამდე აწია, რაც ახლოსაა 39 პროცენტთან, რომელსაც სრულყოფილად სწორი რჩევა მისცემდა. ბენჩმარკი და კოდი საჯაროდ ხელმისაწვდომია.

წყაროები: The Decoder