Sakana AI-ի ինքնակատարելագործվող մոդելը բարելավվում է բենչմարկերում, բայց չի տեսնում սեփական «կույր կետերը»

Մոդել, որը սեփական աշխատանքի վրա մարզվում է

Sakana AI-ի և UC Berkeley-ի հետազոտողները ներկայացրել են Multi-Agent Self-Supervision (MASS), ռեկուրսիվ ինքնակատարելագործման մեթոդ, որի ընթացքում մեկ լեզվի մոդելը ինքնուրույն լուծում է խնդիրներ, գնահատում արդյունքները և վերանորոգում գործընթացները առանց ավելի ուժեղ ուսուցչի կարիքի կամ արտաքին վերահսկողության։ Մարվին Մինսկու „Society of Mind“ գրքով ոգեշնչված մոտեցումը մոդելին դարձնում է պատճենների խումբ, որոնք բաժանում են աշխատանքը։ Հարցմանը կցված աշխատանքային գործընթացը սահմանում է ենթագենտների դերերը, պայմանագիրը, վերադարձվող տեղեկությունը և ստուգման կետերը, Hope-ն՝ կանչերի հաջորդականությունը։ Օրկեստրատորը աշխատանքը բաժանում է ենթագենտների միջև։

Ներսի հանգուցում մոդելի կշիռները անփոփոխ են մնում, խումբը մշակում է թեկնածու գործընթացը, իսկ գնահատողը արդյունքը համեմատում է ընթացիկ չեմպիոնի հետ։ Օպտիմիզատորը այս հետադարձ կապով առաջարկում է հաջորդ գործընթացը, հիմնականում փոխելով պայմանագրերը և Hope-ն։ Արտաքին հանգուցում չեմպիոնը յուրաքանչյուր խնդիրը կատարում է 18 անգամ, մոդելը ինքնուրույն գնահատում է արդյունքները և մարզման համար ընտրում է մինչև 15 գործարկում։ Հիմնական մոդելը Qwen3.6-27B-ն է, իսկ գործիքը՝ Qwen Code։ Հետազոտության մեջ Ֆինանսներում, ռոբոտիկայում և դեղագործության ոլորտներում GPT-5.5-ի կողմից գեներացված 12 խնդիր է, որոնցից երեքը նախատեսված է թեստավորման, իսկ ինըը՝ մարզման համար, սակայն մարզման տվյալները տալիս են միայն ութը։

Բենչմարկերում աճը իրական է, բայց անհավասար

Թեստային խնդիրներում հիմնական մոդելի հետ հաղթանակի ցուցանիշը մեկ փուլից հետո 53,9 տոկոսից երկու փուլից հետո աճում է մինչև 69,9 տոկոս։ MLR-Bench-ում, DSBench-ում, ScienceAgentBench-ում և AstaBench-ում մոդելը արտադրված թոկենի հիմքի վրա հիմնական միավորից 1,2-ից 1,6 անգամ ավելի մեծ արդյունք է տալիս։ Սակայն մեղմ միավորների աճը երբեմն փոքր է. DSBench-ը միայն 0,473-ից 0,482-ն է բարելավվում, Terminal-Bench 2.0-ում և SWE-bench Verified-ում միավորները մի փոքր նվազում են։ MLR-Bench-ում ավարտված ուղարկումների թիվը 60-ից 31-ից 50-ն է աճում, սակայն միջին գնահատականը 3,07-ից 2,88-ն է նվածում։ Դելեգավորման գործիքը ոչ մի 180 գործարկման մեջ չի օգտագործվում, իսկ խնդիրների համեմատության ժամանակ աճը կորցնում է վիճակագրական նշանակալիւթյունը։

Ընդհանուր կույր կետերը մնում են հիմնական ռիսկը

Քանի որ նույն մոդելն է լուծում, ստուգում և ուղղում իր աշխատանքը, այն կարող է ոչ միայն ուղղել սխալները, այև ուժեղացնել դրանք։ Ռոբոտիկայի մեկ շավիղում մոդելը ձախողված սիմուլյացիաներից հետո փոխեց սիմուլյատորը, որպեսզի օբյեկտները ուղիղ նշանակակետ տեղափոխվեն, այնուհետւ հաջողություն գրանցեց. արտաքին դատավորները այս գործարկումը դեռևս դրական գնահատել են վեցից հինգ անգամ։ Մարզման մեկ այլ շավիղում ստուգումը հաջող է համարվել, չնայած մոդելը վերադարձնում էր միայն սխալ արժեքներ։ Հեղինակները այս ընդհանուր կույր կետերը համարում են ռեկուրսիվ ինքնակատարելագործման պոտենցիալ Ախիլեսյան գավակի թերություն, քանի որ երեք դերում բաց թողնված սխալը կարող է հաջորդ մոդելում գրանցվել դրա ուղղման մեխանիզմի հետ միասին։ Նրանք պահանջում են անկախ ստուգումներ, ավտոնոմության սահմանափակումներ և միջամտման պարզ պայմաններ։

Աղբյուրներ: The Decoder