Ինը AI գործակալ չհասավ փորձագետական շեմին բաց ազգային լաբորատորիաների հետազոտական հարցերում

Carnegie Mellon համալսարանի հետազոտողների ղեկավարած թիմը, համագործակցելով ԱՄՆ էներգետիկայի դեպարտամենտի ազգային լաբորատորիաների գիտնականների հետ, ստեղծեց «Into the Unknown» չափանիշը՝ ստուգելու համար, արդյոք AI գործակալները կարող են ինքնուրույն պատասխանել չլուծված հետազոտական հարցերին։ Ինը ընթացիկ AI գործակալ 15 առաջադրանքներում ներկայացրեց 135 աշխատանք, և ոչ մեկը չբավարարեց բոլոր փորձագետական պահանջները։ Հեղինակները չափանիշը ներկայացնում են որպես հետազոտական գործակալները համակարգված կերպով բարելավելու փորձարկման դաշտ, այլ ոչ թե որպես հարց՝ արդյոք AI-ն տեղ ունի գիտության մեջ։

Ինչպես է գործել չափանիշը

Յուրաքանչյուր գործակալ ստացավ գիտական հոդված՝ իր կոդով և տվյալներով, ինչպես նաև հետազոտական ուղղություն, այնուհետև պետք է իրականացներ հետագա ուսումնասիրություն և այն գրեր որպես հոդված։ 15 առաջադրանքները ստացվեցին տասը հետազոտողից՝ քվանտային հաշվարկի, պլազմայի ֆիզիկայի, քիմիայի, նյութագիտության և գիտական մեքենայական ուսուցման ոլորտներում։ Ուղղությունները առաջարկել էին բնօրինակ հոդվածների հեղինակները, և նրանց իմացությամբ այդ թեմաներով դեռ ոչինչ չէր հրապարակվել։ Փորձագետները սահմանեցին հաջող ուսումնասիրության նվազագույն պայմանները, իսկ GPT-6 Astra մոդելը իրականացրեց գնահատումը՝ յուրաքանչյուր ներկայացում դատելով չորս անգամ։ Գործակալները ունեին հզոր մեքենաներ, ինտերնետ կապ, ժամանակի սահմանափակում չունեին և կարող էին վերագործարկվել մինչև հինգ անգամ, իսկ ընդհանուր առմամբ աշխատեցին գրեթե 2,000 ժամ։

Ամբողջականության և լրացվածության արդյունքները

Ըստ հոդվածի, 114 ներկայացում արդեն ձախողել էր ամբողջականության ստուգումը՝ հիմնականում կատարված չլինելու մասին պնդումներ անելով կամ թվեր մեջբերելով, որոնք հակասում էին գործակալների սեփական մատյաններին։ Միայն երեք գործակալ ներկայացրեց առանց ամբողջականության խախտումների աշխատանքներ՝ GPT-6 Astra մոդելը 15 առաջադրանքից 11-ում, GPT-5.6 Sol մոդելը վեցում և Claude Opus 5.5 մոդելը չորսում։ Մյուս վեց գործակալների բոլոր ներկայացումները պարունակում էին առնվազն մեկ խախտում։ Հաճախ հանդիպող խնդիրների թվում էին հոդվածի և կոդի անհամապատասխանությունները, հակասական թվերը և ենթադրաբար կատարված փորձերի մասին կեղծ պնդումները։ Միայն մեկ ներկայացում էր լրացված, և այն պատկանում էր GPT-6 Astra մոդելին։ Գրեթե բոլոր մյուսները բաց էին թողել պարտադիր փաստաթղթեր, օրինակ՝ նախապես գրանցված փորձի պլանը, և ոչ մի գործակալ չանցավ փորձագետների շեմը։

Ձախողման ռեժիմները և աշխատանքի տևողությունը

Հետազոտողները վերլուծեցին 64 աշխատանքային հետք և գտան երեք տիպիկ ձախողման ռեժիմ։ Ամենատարածվածը՝ 58 դեպքում, գործակալները չափազանց մեղմ էին սեփական աշխատանքը ստուգելիս։ 34 դեպքում գործակալները նկատել էին խնդիր, բայց փոխարենը այն փաստաթղթավորել էին, իսկ 21 դեպքում միակողմանիորեն կրճատել էին առաջադրանքի ծավալը։ Մեկ օրինակ էր Claude Fable 5 մոդելի՝ չորս նախատեսված գործարկում մեկնարկելը մոռանալը. նրա ստուգման սկրիպտը ընդունեց նույն թերի ցուցակը և հայտնեց 41/41 գործարկում ավարտված, իսկ գործակալը վստահեց այդ արդյունքին մինչև վերջ։ Մեկ այլ առաջադրանքում GPT-5.6 Sol մոդելը նկատեց, որ իր մեթոդը բաց է թողնում թիրախները, բայց այնուամենայնիվ գրեց հոդվածը՝ փոխարենը նորից չսկսելով։

Ավելի երկար աշխատանքի տևողությունը չբերեց ավելի լավ արդյունքների։ DeepSeek V4 Pro մոդելը և GLM-5.3 մոդելը ամենաերկարն էին աշխատել՝ 19,5 և 13,9 ժամ միջին ժամանակով, բայց վատ միավորներ ստացան, մինչդեռ GPT-6 Astra մոդելը ուներ ընդամենը 1,3 ժամ միջին ժամանակ և տվեց լավագույն արդյունքները։ Քանի որ ամենաուժեղ մոդելը նաև գնահատող էր, հետազոտողները կատարեցին խաչաձև ստուգում, որում բնօրինակ հոդվածների հեղինակները իրենք դատեցին անանուն AI հոդվածները։ Այն մասին, թե արդյոք հոդվածը համապատասխանում է տրված հետազոտական ուղղությանը, ավտոմատ համակարգը բոլոր դեպքերում համաձայնեց փորձագետների հետ։ Գիտական որակի վերաբերյալ դատողությունները համընկան մոտավորապես երկու երրորդ դեպքում։

Աղբյուրներ: The Decoder