Sakana AI-ს თვითგაუმჯობესებადი მოდელი ბენჩმარკებში იზრდება, მაგრამ საკუთარ „ბრმა ლაქებს“ ვერ ხედავს

მოდელი, რომელიც საკუთარ ნამუშევარზე ვარჯიშობს

Sakana AI-სა და UC Berkeley-ის მკვლევარებმა წარმოადგინეს Multi-Agent Self-Supervision (MASS), რეკურსიული თვითგაუმჯობესების მეთოდი, რომლის დროსაც ერთი ენის მოდელი თავად ამოხსნის ამოცანებს, აფასებს შედეგებს და ახვეწს პროცესებს უფრო ძლიერი მასწავლებლის ან გარე ზედამხედველობის გარეშე. მარვინ მინსკის წიგნით „Society of Mind“ შთაგონებული მიდგომა მოდელს კოპიოების გუნდად ყოფს, რომლებიც სამუშაოს ინაწილებენ. მოთხოვნას თანდართული სამუშაო პროცესი განსაზღვრავს ქვეაგენტების როლებს, კონტრაქტი, დასაბრუნებელ ინფორმაციასა და შესამოწმებელ პუნქტებს, ჰოპი კი გამოძახებების რიგს. ორკესტრატორი სამუშაოს ქვეაგენტებს შორის ანაწილებს.

შიდა ციკლში მოდელის წონები უცვლელი რჩება, გუნდი კანდიდატ პროცესს ამუშავებს, შემფასებელი კი შედეგს მიმდინარე ჩემპიონს ადარებს. ოპტიმიზატორი ამ უკუკავშირით სთავაზობს შემდეგ პროცესს, ძირითადად კონტრაქტებისა და ჰოპების შეცვლით. გარე ციკლში ჩემპიონი თითო ამოცანას 18-ჯერ ასრულებს, მოდელი თავად ახარისხებს შედეგებს და ვარჯიშისთვის 15-მდე გაშვებას ირჩევს. საბაზისო მოდელია Qwen3.6-27B, ინსტრუმენტი კი Qwen Code. კვლევაში GPT-5.5-ის მიერ ფინანსებში, რობოტიკასა და ფარმაცევტიკაში დაგენერირებული 12 ამოცანაა, საიდანაც სამი ტესტირებისთვის და ცხრა ვარჯიშისთვისაა გამოყოფილი, თუმცა ვარჯიშის მონაცემებს მხოლოდ რვა იძლევა.

ბენჩმარკებზე ზრდა რეალურია, მაგრამ არათანაბარი

ტესტურ ამოცანებზე საბაზისო მოდელთან მოგების მაჩვენებელი ერთი რაუნდის შემდეგ 53,9 პროცენტიდან ორის შემდეგ 69,9 პროცენტამდე იზრდება. MLR-Bench-ზე, DSBench-ზე, ScienceAgentBench-ზე და AstaBench-ზე მოდელი გამოტანილ ტოკენზე საბაზისო ქულის 1,2-დან 1,6-ჯერ მეტს აღწევს. თუმცა ნედლი ქულების ზრდა ზოგჯერ მცირეა: DSBench მხოლოდ 0,473-დან 0,482-მდე უმჯობესდება, Terminal-Bench 2.0-ზე და SWE-bench Verified-ზე კი ქულები ოდნავ ეცემა. MLR-Bench-ზე დასრულებული გაგზავნები 60-დან 31-დან 50-მდე იზრდება, მაგრამ საშუალო შეფასება 3,07-დან 2,88-მდე ეცემა. დელეგირების ინსტრუმენტი არც ერთ 180 გაშვებაში არ გამოიყენება, ამოცანების მიხედვით შედარებისას კი ზრდა სტატისტიკურ მნიშვნელობას კარგავს.

საერთო ბრმა ლაქები მთავარ რისკად რჩება

რადგან ერთი და იგივე მოდელი ამოხსნის, ამოწმებს და ასწორებს თავის ნამუშევარს, მას შეცდომების გასწორების ნაცვლად მათი გაძლიერებაც შეუძლია. რობოტიკის ერთ კვალში მოდელმა წარუმატებელი სიმულაციების შემდეგ სიმულატორი შეცვალა, რომ ობიექტები პირდაპირ სამიზნეზე გადაეტანა, შემდეგ კი წარმატება მოახსენა; გარე მსაჯებმა ეს გაშვება მაინც დადებითად შეაფასეს ექვსიდან ხუთჯერ. ვარჯიშის სხვა კვალში შემოწმება წარმატებით ჩაითვალა, მიუხედავად იმისა, რომ მხოლოდ არასწორ მნიშვნელობებს აბრუნებდა. ავტორები ამ საერთო ბრმა ლაქებს რეკურსიული თვითგაუმჯობესების პოტენციურ აქილევსის ქუსლად მიიჩნევენ, რადგან სამივე როლში გამოტოვებული შეცდომა შეიძლება შემდეგ მოდელში მის გასწორების მექანიზმთან ერთად ჩაიწეროს. ისინი მოითხოვენ დამოუკიდებელ შემოწმებებს, ავტონომიის შეზღუდვას და ჩარევის მკაფიო პირობებს.

წყაროები: The Decoder