AI կոդավորման գործակալները իրական թեստում գրեթե չորս դեպքից երեքում դեռ մարդկային մաքրում են պահանջում

Alibaba ընկերության և մի քանի ասիական համալսարանների հետազոտողները ստեղծել են Co-Design Bench թեստը, որը կոդավորման գործակալների փորձարկում է և հիմնված է գոյություն ունեցող վեբ հավելվածների իրական օգտատերերի փոփոխությունների հարցումների վրա։ GPT-6 Astra մոդելը, որը փորձարկված տասը մոդելներից լավագույնն է, լիովին ավարտում է միայն մոտ չորս առաջադրանքից մեկը, մինչդեռ պահանջների մոտ 70 տոկոսն է միջինում բավարարում. հիմնականում օգտատերը դեռ պետք է ձեռքով մաքրի գոնե մեկ մանրամասն։

Ինչու հին չափանիշները չափազանց հեշտ են թվում

Հեղինակները ասում են, որ գոյություն ունեցող չափանիշները հագեցել են։ Երբ կոդավորման գործակալները կարող են աշխատեցնել, ստուգել և ուղղել իրենց կոդը, նրանք այդ թեստերում գերազանցում են 99 տոկոսը, և մոդելների միջև տարբերությունները հազիվ են չափվում։ WebCompass-edit նման հին չափանիշներում գործակալային կոդավորման մոդելները հասնում են գրեթե կատարյալ արդյունքների, մինչդեռ Co-Design Bench թեստում բացը գերազանցում է 35 տոկոսային կետը։

Ինչպես է գործում նոր չափանիշը

Co-Design Bench թեստը հիմնված է իրական կոդավորման նիստերի իրական հարցումների վրա։ Հետազոտողները նախընտրել են դեպքեր, որտեղ օգտատերերը ստիպված են եղել հարցումը մի քանի անգամ վերաձևակերպել կամ փոփոխությունները հետ գլորել, ուստի թեստը հիմնականում պարունակում է այնպիսի առաջադրանքներ, որոնք արդեն գործնականում դժվարություն են առաջացրել AI գործակալների համար։ Առաջադրանքները տատանվում են փոքր փոփոխություններից, օրինակ՝ գումար հանել կտրոնից և թարմացնել բոլոր կախյալ ընդհանուրները, մինչև նախագծերի լիարժեք վերակառուցում։ Բազմամոդալ ուղու մեջ գործակալները պետք է արժեքներ հանեն կտրոններից, աղյուսակներից կամ տեսանյութերից և հետևողականորեն թարմացնեն բոլոր կախյալ տեսքերը։ Գնահատումը խիստ է. մեկ AI դատավոր զննում է պատրաստի հավելվածը դիտարկիչում, ապա երկրորդը վերաստուգում է յուրաքանչյուր դրական վճիռ և փնտրում կեղծ նմուշներ կամ կոշտ կոդավորված արդյունքներ։ Միավորներ տրվում են միայն այն հատկանիշներին, որոնք իրականում աշխատում են հավելվածում։

Մոդելները դժվարանում են համակցված փոփոխությունների դեպքում

GPT-6 Astra մոդելից հետո հաջորդ տեղերը զբաղեցնում են Claude Opus 5 և Qwen3.8-Max մոդելները, մինչդեռ Grok 4.6 մոդելը զբաղեցնում է վերջին տեղը։ Ավելի մեծ վերակառուցումների դեպքում շատ ավելի փոքր Qwen3.8-27B մոդելը բարձրանում է մինչև երկրորդ տեղը, սակայն հեղինակները այդ արդյունքից ընդհանուր առավելություն չեն եզրակացնում այդ մոդելի համար։ Բոլոր մոդելների կատարողականը նվազում է, երբ առաջադրանքը համակցում է փոփոխությունների ավելի շատ տեսակներ, այդ թվում՝ դասավորություն, դիզայն, փոխազդեցություն և բովանդակություն։ Տասը մոդելներից յուրաքանչյուրը վատ է գնահատվում, երբ առաջադրանքը պահանջում է երեք կամ չորս տարբեր տեսակի փոփոխություն։ Լրացուցիչ հաշվարկները քիչ են օգնում այս թուլությունը շտկելու. GLM-5.2 մոդելը փոքր փոփոխությունների դեպքում ծախսում է գրեթե վեց անգամ ավելի շատ տոկեն, քան GPT-6 Astra մոդելը, և դեռ գնահատվում է զգալիորեն վատ։ GPT-6 Astra մոդելը առաջատար է երկու ուղիներում էլ, սակայն լիովին լուծում է միայն բազմամոդալ առաջադրանքների 41 տոկոսը և ռեպոզիտորիաների առաջադրանքների 18 տոկոսից մի փոքր պակաս։

Harness և թեստի սահմանափակումներ

Առանձին փորձարկման մեջ հետազոտողները նույն մոդելները աշխատեցրել են տարբեր harness ծրագրերում, այն ծրագրերում, որոնց միջոցով գործակալը կարդում, գրում և կատարում է կոդը։ Qwen3.8-27B մոդելը ավելի մեծ վերակառուցումների դեպքում գնահատվել է 75 կամ ընդամենը 56 տոկոս՝ կախված միջավայրից, և երկու մոդելներից որը առաջ կանցնի, նույնպես կախված էր միջավայրից։ Միայն մոդելը թվարկող առաջատար աղյուսակները հետևաբար պատմում են միայն պատմության մի մասը, և հեղինակները խորհուրդ են տալիս միշտ միասին նշել մոդելը և աշխատանքային միջավայրը։ Կոդավորման գործակալ ընտրող ընկերությունների համար դա նշանակում է երկու բաղադրիչները զույգով փորձարկել։ Չափանիշը նաև սահմանափակումներ ունի. այն գնահատում է առաջադրանքի համար մեկ ֆիքսված հարցում, ուստի հետագա հարցերը կամ առաջադրանքի ընթացքում ուղղումները թեստի մաս չեն, և AI դատավորները կարող են սխալվել։ METR հետազոտությունը պարզել է, որ չափանիշների արդյունքները և իրական օգտագործման հարմարությունը կարող են տարբերվել, իսկ նախագծի ղեկավարների կողմից AI-ով ստեղծված կոդի իրական ընդունման մակարդակը մոտ 24 տոկոսային կետով ցածր է SWE-bench Verified չափանիշի գնահատականներից։ Թեստային միջավայրերի թերությունները կարող են նաև թույլ տալ, որ գործակալները առաջադրանքները հանձնեն՝ իրականում դրանք չլուծելով։ Աշխատանքային միջավայրի ազդեցությունը հստակ չէ, սակայն. վերջերս կատարված հետազոտությունը գտել է հազիվ չափելի օգուտ ավելի բարդ harness ծրագրերից, թեև դրանք ծախսել են մինչև երեք անգամ ավելի շատ տոկեն։

Աղբյուրներ՝ The Decoder