GPT-6-Astra-ն 98%-անի ճշտությամբ առաջնորդում է տեսական ֆիզիկայի բենչմարկում

Բենչմարկի արդյունքները

Տեսական գիտությունների միջազգային կենտրոնի, Հարվարդի համալսարանի, KU Leuven-ի և Google DeepMind-ի 35 հետազոտող հրապարակեցին TheoPhysEval-ը՝ բենչմարկ 50 չհրապարակված տեսական ֆիզիկայի հետազոտական խնդիրներով, որոնք ունեն ստուգելի պատասխաններ: OpenAI-ի Codex ծրագրավորման միջավայրում աշխատող GPT-6-Astra-ն 50-ից 49 ճիշտ պատասխան տվեց, այսինքն 98%, մեկ խնդրի միջին արժեքը 3 դոլարից պակաս էր, իսկ ամբողջ բենչմարկի համա՝ մի քիչ պակաս քան 116 դոլար:

Claude Code-ում աշխատող Anthropic-ի Opus 5.5-ը գրանցեց 92%: Google-ի Gemini 3.8 Flash-ը գրանցեց 68%, DeepSeek-V4.1-Flash-ը և GLM 5.3-ը համապատասխանաբար 54% և 42%: Յուրաքանչյուր ագենտ երկու անգամ գործարկվեց՝ վեբ որոնման հետ և առանց ինտերնետի:

Ի՞նչ են ստուգում խնդիրները

Բենչմարկը ընդգրկում է տասներեք ենթաոլորտ, հոսույթների դինամիկայից և կենսաբանական գործընթացներից մինչև մոլեկուլային ֆիզիկա և տեսողություն: Հեղինակները կենտրոնացել են սովորական հետազոտական աշխատանքի վրա, ոչ թե հիմնական բաց հարցերի վրա: Նրանք խնդիրները նկարագրում են որպես «ծանոթ հետազոտության» տեսակի առաջադրանքներ, որտեղ հայտնի մեթոդները օգտագործվում են մի փոքր փոփոխված իմաստով: Առաջատար մասնագետը տիպիկ խնդրի համար մոտավորապես օր կամ պակաս ժամանակ է պահանջում, իսկ հարակից ոլորտի մասնագետները՝ ավելի շատ ժամանակ:

Համացանցում մատչելիությունը գրեթե ոչինչ չի փոխել: Առանց վեբ որոնման Astra-ն և Opus-ը յուրաքանչյուրը գրանցեց 92%: Հեղինակների կարծիքով՝ դա ցույց է տալիս, որ առաջատար լեզվական մոդելները գործնականում հիշել են տեսական ֆիզիկայի մատերիալների մեծ մասը: Մի քանի սխալ ավելի ուշ վերագրվեցին հղումների լուծումների թերություններին և ոչ թե մոդելի սխալներին:

Հաշվարկներից մինչև հայտնություն

Հեղինակները հայտնում են, որ որոշ ամենաուժեղ մոդելներ հնարավոր է արդեն գերազանցեն լավագույն մարդկային հետազոտողներին հատուկ հաշվարկներում, բայց տեսական ֆիզիկան դեռ չի տեսել այդպիսի փուլ՝ որպես AI-ն մաթեմատիկայում բաց խնդիրների լուծման հետ համեմատ: Նրանք հաստատում են, որ ստուգելի հաշվարկը գտնվում է հետազոտության վերջում: Այդ իսկ պատճառով հետազոտողները պետք է կառուցեն տեսություն, տեղադրեն ճիշտ հարցեր և հասկանան, երբ խնդիրը չափազանց դժվար է: Այս գնահատումը ժամանակակից ագենտներին բացակայում է կամ այն ինչ որ ֆիզիկոսները կոչում են գիտական ճաշ:

Հեղինակները նաև տեսնում են արդյունքները ուսուցման և մատչելիության վրա: Խնդիրները, որոնք երբեք նոր հետազոտողներին համեմատվում էին, հնարավոր է այլևս համապատասխան չլինեն, եթե նպատակը միայն նյութի անցկացումը չէ: Նրանք կարծում են, որ ավելի դժվար խնդիրների ծախսերը կզգալիորեն կբարձրանան և ասում են, որ տեսական ֆիզիկան պետք է մտածի մատչելիության և հավասար հնարավորությունների մասին, քանի դեռ ունակ ագենտները ոլորտը կփոխեն:

Աղբյուրներ: The Decoder