Նոր Taste-Bench: լավագույն AI агенտները դժվար են կատարում երկարաժամկետ որոշումներում

Ագենտները դժվարություն ունեն երկարաժամկետ որոշումների գնահատման մեջ

AI агентները ներկայումս իրականացնում են բազմաֆունկցիոնալ խնդիրներ, օրինակ՝ հետազոտական նյութերի գրումն ու ծրագրային նախագծերի ստեղծումը, և մշտապես ստանում են որոշումներ՝ թե ինչ հիպոթեզ ստուգել, թե które կոդեր վստահել կամ które փորձեր կատարել ապագայում։ Այս ընտրության արդյունքները հաճախ դառնում են անմիջապես 착剖։ Վատ որոշումը հաճախ սկզբից լավ է թվում, իսկ իր իրական ծախսը բացահայտվում է միայն այն ժամանակ, երբ агенտը ծախսել է բյուջեի մեծ մասը։ Microsoft-ի և Հոնգ Կոնգի քաղաքի համալսարանի հետազոտողները այս ընտրության լավ կատարման ունակությունը կոչում են «գlieben»։

Ինչպես աշխատում է Taste-Bench

Ներկայիս բենչմարկները միայն ստուգում են, արդյոք агенտն ավարտել է խնդիրը, ոչ թե նրա միջանկյալ քայլերի ճշգրտությունը։ Մարդկային գնահատումը թանկ է և դժվար է մեծամասնյա, الأم итоге istražությունները հիմնված են ретროსպեկտիվին։ Նրանք ստանում են агенտի աշխատանքը գրառումները, դրանք տեղադրում են «խնդրությունների ճակատամասին», որտեղ երկու փորձարկում են բաժանվում, նվիրում են բոլոր հետագա աշխատանքը և խնդրում են մոդելին ընտրել ավելի լավ ուղին։ Ամեն մի աշխատանքի արդյունքը հավելում է լավագույն տարբերակը, իսկ ինքն աշխատանքը ապահովում են նշված համեմատումը։ Taste-Bench-ն ներառում է 502 նման հարցեր, որոնք կազմված են կոդավորման և AI հետազոտության խնդիրների վրա հազարավոր գնահատված агенտի աշխատանքում՝ նրանց SWE-bench Pro-ից և METR-ի հանրային տրանսկրիպցիամասն MALT-ից։ Գեներատոր մոդելը տrado filtration triviial eventual cases, իսկ մարդկային ստուգումը հաստատեց գրեթե բոլոր ավտոմատ կերպով ստեղծված թեգերը։

Ավելի լավ մոդելները նույնպես դժվար են գերազանցել պատահական պատասխանին

Խմբը ստուգեց 14 մոդել՝ Claude, GPT, Grok, DeepSeek, GLM, MiniMax և Mistral ընտանիքներից։ Ամեն մի հարցը երկու անգամ կրկնվեց պատասխանի տարբերակների மாற்றմամբ և միայն այն ժամանակ հաշվելся, երբ մոդելը երկու անգամ ճիշտ պատասխանեց, ինչը պատահական պատասխանին 25 տոկոս է տալիս։ Լավագույն մոդելը՝ GPT-5.6 Sol-ը, միջին 59,7 տոկոս հավաքեց, այն շրջանակներում GPT-5.5 59,5 տոկոսով։ ճշտությունը հասավ 21 տոկոսին, մոտավոր պատահական պատասխանին, երբ հիմնական նշանը միայն երկարաժամկետ հետագա աշխատանքի հետո հայտնվում է, 62,3 տոկոսի համեմատ, երբ նշանը արդեն տեսնելի էր նախորդ քայլերում։ խոսակցությունների բյուջեի ավելացումը ճշտությունը գրեթե չփոխեց, ինչը ցույց է տալիս, որ անհրաժեշտ նշանը այս ճակատամասերում դեռ պարզապես չկա։

Գliebenի ուսումն հնարավոր է

Եვლորդները ուսման մոդելի քննարկումները փոխանցեցին Qwen3.6-27B‑ի մեջ, ինչի důษਟն այդ մոդելի ճշտությունը անհայտ խնդիրներում ավելացավ 30‑ից 47,9 տոկոսը։ Երբ այս ուղղումներ օգտագործվեցին առանձին ագենտի աշխատանքում 41 տարբեր SWE-bench Pro խնդիրով, վարորդությունը հաջողության ցուցանիշը բարձրացրեց 14,6‑ից 33,7 տոկոսը, ինչը մոտ է 39 տոկոսին, որը համապատասխանում է ամբողջությամբ ճիշտ ուղղման։ Բենչմարկը և կոդը հանրային հասանելի են։

Աղբյուրները: The Decoder