Google-ի հետազոտողները պայքարում են ինքնակատարելագործվող AI-ագենտների կողմից թեստերի անգիր անելու դեմ

Google Cloud AI Research-ը և մի քանի համալսարաններ ներկայացրել են RRSI մեթոդը, որը կանխում է ինքնակատարելագործվող AI-ագենտների կողմից թեստերի անգիրը և նվազեցնում հաշվողական ծախսերը։ Այն կարգավորում է լեզվական մոդելի շուրջ գտնվող harness-ի վերաշարադրումը, ոչ թե բուն մոդելը։

Ինքնաօպտիմիզացիան տանում է դեպի անգիր անելը

AI-ագենտները ֆիքսված մոդելը փաթաթում են harness-ի մեջ՝ պրոմպտների, գործիքների, հիշողության և տրամաբանության շրջանակ, որը վերահսկում է մոդելի տեսածը։ Առաջընթացը հիմնականում եղել է harness-ի վրա աշխատելով, ոչ թե նոր մոդելներով։ Նոր մեթոդները մոդելին թույլ են տալիս ինքնուրույն վերաշարադրել harness-ը թեստերից ստացված հետադարձ կապով, ինչը ռեկուրսիվ ինքնակատարելագործում է։

Սակայն սահմանափակ թեստերի վրա ագենտը վերջում դրանք անգիր է անում։ Ուսումնական խնդիրների միավորները աճում են, իսկ նորերի վրա առաջընթացը նվազում կամ անհետանում է։ Որոնումը հիշում է միայն մեկ բենչմարկին հարմար օրինաչափություններ և ավելացնում ավելորդ բարդություն, ինչը բարձրացնում է թեստի միավորները, բայց ագենտին չի լավացնում։

Փոքր բյուջեներ և խիստ քննադատ

RRSI-ն աշխատում է օպտիմիզացիայի ցիկլի երկու կողմերում և harness-ը թողնում է ամբողջությամբ խմբագրելի։ Բյուջեն սահմանափակում է միաժամանակ արվող անկախ փոփոխությունները և ժամանակի ընթացքում նվազում է։ Վաղ փուլերում թույլատրվում է մեծ վերաշարադրում, ուշ փուլերում՝ միայն փոքր փոփոխություններ։ Համակարգը խուսափում է նույն անհաջող գաղափարների կրկնությունից և կանգի դեպքում փորձարկում է harness-ի անփոփոխ մասերը։

Փոփոխություններն ընտրելիս քննադատը մերժում է առաջարկները, որոնք ամրացնում են խնդիրների անունները, լուծումները կամ բենչմարկին հարմար հնարքները։ Ավելի մեծ ծախս թույլատրվում է միայն չափելի արդյունքի աճի դեպքում, իսկ անօգուտ բաղադրիչները հեռացվում են։

Աճ չտեսնված խնդիրների վրա

Թիմը RRSI-ն փորձարկել է ութ բենչմարկների վրա՝ ծրագրավորում, ագենտային գրասենյակային աշխատանք և ինժեներական դիզայն, ընդ որում Claude Opus 4.8-ը սառեցված էր։ RRSI-ն ուսումնական խնդիրներում հասել է 14,1 միավորի, հինգ չտեսնված բենչմարկում՝ 4,7 միավորի, և ծախսել մոտ 30%-ով ավելի քիչ թոքեններ, քան չկարգավորված տարբերակը։ Ոչ մի չտեսնված բենչմարկ չի ընկել բազային մակարդակից, իսկ ամենամեծ աճը՝ 4,7 միավոր, գրանցվել է JobBench-ում։

Բոլոր համեմատված մեթոդները լավ էին ուսումնական խնդիրներում, սակայն նորերի վրա երկուսը ընկան բազային harness-ից ցածր։ RRSI-ն ուսումնական խնդիրներում ամենափոքր աճն ունեցավ, բայց միակն էր, որ չտեսնված խնդիրներում նկատելիորեն գերազանցեց բազային մակարդակը։

Gemini 3.5 Flash-ով օպտիմիզացված ծրագրավորման harness-ը առանց փոփոխությունների բարձրացրեց ավելի թույլ Gemini 3.1 Flash Lite-ի ճշգրտությունը 11,2-ից 14,6 միավոր։ Դա ցույց է տալիս, որ հայտնաբերված մեխանիզմները կախված չեն այն մոդելից, որով դրանք գտնվել են։ Հետազոտությունը վերաբերում է միայն սառեցված մոդելների harness-ներին և չի քննարկում մոդելի կշիռների փոփոխությունը։ Կոդը հասանելի է GitHub-ում։

Առնչվող աշխատանքներ

Ձեռքով ստեղծված harness-ները հաճախ չեն ընդհանրացվում։ ARC-AGI-3-ի թեստերում Opus 4.6-ը ծանոթ միջավայրում հավաքել է 97,1%, իսկ անծանոթ միջավայրում՝ հատուկ harness-ով՝ 0%։ Nvidia-ն վերջերս ներկայացրել է SoL-Pi-ն, որտեղ հետազոտական ագենտը ավտոմատ վերականգնում է ծրագրավորման ագենտների harness-ը և թոքենների ծախսը նվազեցնում մինչև 49%՝ առանց նկատելի անկման։ Ավելի վաղ Google-ը ագենտներին ստիպել է երազել անցյալ որոնողական սեսիաների մասին՝ որոնման ռազմավարությունը բարելավելու համար։