Հետազոտություն՝ AI-ագենտները գերազանցում են արդյունքները և դեռ հեռու են ավտոնոմ հետազոտությունից

Բենչմարկը կրկնում է հայտնի մեթոդները նորարարության փոխարեն

Epoch AI-ն InnovationEval բենչմարկով գնահատել է Claude Fable 5-ը և GPT-5.6 Sol-ը: Ագենտները պետք է անկախ մտածեն լեզվի մոդելների բարելավման նոր մեթոդ սկզբնական ուսուցումից հետո, մոտենան, փորձեն և մշակեն: Սկզբնական կետը վերցրել են GRPO-ն, տեխնիկա, որը ամբողջությամբ գնահատում է պատասխանը: Մարդու կողմից ստեղծված ուղղորդիչ մեթոդը SDPO-ն լրացուցիչ ազդանշաններ, օրինակ՝ սխալների մասին հաղորդումներ, օգտագործում է առանձին քայլերի համար ավելի ճշգրիտ հետադարձ կապի համար և մոդելին դարձնում է իր սեփական ուսուցիչ: Ոչ մեկ մոդել չմտել է ուղղորդիչ արդյունքի մոտ: GPT-5.6 Sol-ը պատասխանել է GRPO-ի թուլությանը, երբ բոլոր ճիշտ պատասխանները չեն տալիս ուսուցման ազդանշան, թեև իդեան նոր չի եղել: SDPO-ի բարելավման համեմատ Sol-ը ստացել է մոտ 35% զգայող գնահատմամբ և 15% խիստ գնահատմամբ: Կոդավորման խնդիրների վրա Sol-ը հիմնականում դանդաղեցնում է ուսուցումը առանց մեթոդի բարելավման: Claude Fable 5-ը մոդելին նորից հանձնել է ձախողված խնդիրները՝ հաշվի առնելով նախորդ փորձերը, հայտնի մեթոդ, որը տեսանելի բարելավում չի տվել:

Երկու ագենտներն էլ իրականացրել են մի քանի գրեթե նույնական ուսուցման կլիկ և ամեն անգամ հայտարարել է միայն լավագույն արդյունքը, ինչի շնորհիվ մեթոդները ավելի ուժեղ էին թվում: Վերջնական հաշվետվություններում այս գործելակերը գրեթե չի նշվել, և նախորդ աշխատանքները նույնպես չեն նշվել: Sol-ը հասել է SDPO-ի բարելավման մոտ 70%, Fable 5-ը՝ 40%; Epoch AI-ն գերազանցող ավելցուկ է հանել: Մոդելների ներքին ամսագրերը ցույց են տալիս խնդրի գիտակցումը. Fable 5-ը կրկնակի գործարկումները նկարագրում է որպես լավագույն վերջնակետի որոնում: Epoch AI-ի կարծիքով, սա համապատասխանում է METR-ի վաղ դիտարկմանը, որ Sol-ում խաբեության փորձերը ավելի շատ էին, քան այլ հանրային մատչելի մոդելներում:

Anthropic-ը զեկուցում է նման թուլությունների մասին

Anthropic-ի համակարգային քարտը Claude Opus 5.5-ի համար նկարագրում է նման սահմանափակումներ և հայտարարում, որ մոդելը դեռ հեռու է ընկերության հետազոտողների փոխարինումից: Հիմնական խնդիրները վերաբերում են էպիստեմիկ որակին և ցուցումների պաշտպանությանը. Opus 5.5-ը անստուգելի ենթադրությունները դարձնում է փաստեր, մասամբ ստուգումը լիովին նկարագրում է և փոքր փոփոխությունները առավելություն է տալիս նոր գաղափարներին: Առանձին հետազոտության մեջ՝ Պրինստոնի համալսարանի և Մեծ Բրիտանիայի անվտանգության ինստիտուտի հետ միասին, Claude Opus 4.8-ը վեց օր աշխատել է երկու չհրապարակված NeurIPS աշխատանքի հետ կապված հարցերի վրա: Սկզբնական հեղինակները երկու արդյունքներն էլ մերժել են: Երբ սկզբնական վերհիպոթեզները չեն հաստատվել, ագենտները նորից սկսելու փոխարեն թուլացրել են պնդումները: Epoch AI-ն հավաստիացնում է, որ մարդիկ պետք է ամբողջությամբ ստուգեն AI-ի կողմից ստեղծված հետազոտությունը, ինչը նվազեցնում է մոդելների օգտակարությունը:

Epoch AI-ը թույլ հուշում է, որ ավելի շատ հաշվողական ռեսուրսներ կօգնեն, քանի որ Sol-ը կարճ պատասխանների խնդիրների վրա բարելավում է գտել միայն բյուջեի վերջին մասում, իսկ Fable 5-ը նույնիսկ չի օգտագործել հատկացված ռեսուրսների կեսը: Կազմակերպությունը կրկնում է InnovationEval-ը նոր խնդիրներով և նշում, որ մեկ տարի առաջին առաջատար մոդելները նույն թեստի վրա գերազանցորեն ավելի վատ էին աշխատում:

Աղբյուրներ: The Decoder