Gemini 4 Argon և Claude Opus 5.5. անկախ փորձարկումների ոչ միանշանակ արդյունքները

Google-ը սեպտեմբերի 30-ին փորձարկողների փոքր խմբին ներկայացրեց Gemini 4 Argon-ը։ Ընկերության աղյուսակում այն Claude Opus 5.5-ին գերազանցում էր 18 թեստից 14-ում, այդ թվում՝ DeepSWE-ում (77,9%՝ 74,2%-ի դիմաց) և GraphWalks-ում՝ 256K-ից մինչև 1 միլիոն տոկեն (84,2%՝ 66,8%-ի դիմաց)։ Հոկտեմբերի 13-ին Argon-ը հասանելի դարձավ վճարովի Gemini API-ի մշակողներին։

Ժամանակավոր գինը և փորձարկման մեթոդը

Մինչև նոյեմբերի 30-ը Argon-ի գինը մեկ միլիոն մուտքային տոկենի համար 2 դոլար է, ելքայինի համար՝ 10 դոլար՝ Opus 5.5-ի գնի կեսը։ Դեկտեմբերի 1-ից այն կդառնա համապատասխանաբար 4 և 20 դոլար՝ հավասարվելով Opus-ին։ Google-ը հրապարակել է նաև Opus-ի առավելությունները, այդ թվում՝ Terminal-bench 4.0-ում (66,4%՝ 57,4%-ի դիմաց), որը ստուգում է հրամանների տողում գործակալի աշխատանքը։ Հեղինակի խոսքով՝ բենչմարկները միշտ չէ, որ արտացոլում են իրական աշխատանքը, իսկ ցածր գինն իմաստ ունի, եթե որակը համադրելի է մրցակցի հետ։

Հեղինակը յուրաքանչյուր առաջադրանքը յուրաքանչյուր մոդելով գործարկել է մեկ անգամ՝ OpenRouter-ի միջոցով, Google-ի և Anthropic-ի սերվերներում, դատողության լռելյայն կարգավորումներով։ Սրանք մեկական գործարկումների արդյունքներ են, ոչ թե կրկնվող փորձարկումներով ստացված ճշգրտության գնահատականներ։

Կոդի փորձարկումներ

3500 տողանոց Python գրադարանում դիտավորյալ ներդրված էին 14 տրամաբանական սխալ և հինգ շեղող օրինակ, որոնք իրական սխալներ չէին։ Երկու մոդելներն էլ գտան բոլոր 14 սխալները՝ չնշելով շեղող օրինակները։ Դրանք ուղղելուց հետո բոլոր 93 առկա թեստերը շարունակում էին անցնել։ Գտնված սխալի միջին արժեքը Argon-ի համար մոտ 1 սենտ էր, Opus-ի համար՝ 2,4 սենտ։ Հաշվարկային համակարգի առաջադրանքում Opus-ն անցավ բոլոր 80 թաքնված թեստերը, իսկ արժույթների հետ կապված լրացումից հետո՝ բոլոր 100-ը։ Argon-ն անցավ 80-ից 11-ը և 100-ից 20-ը։ Այն Python-ի datetime.combine() ֆունկցիային ավելորդ արգումենտ էր փոխանցել։ Այդ մեկ տողը ձեռքով ուղղելուց հետո Argon-ի արդյունքը դարձավ 80/80 և 100/100։

Երկար համատեքստ և եզրակացություն

400 ծառայություն նկարագրող արհեստական վիքիում երկու մոդելներն էլ գրաֆի երեք հարցերից երկուսին ճիշտ պատասխանեցին բոլոր այն չափերի դեպքում, որոնք իրականում գործարկվեցին։ 900K փաստաթուղթը Claude-ի տոկենիզատորով գերազանցեց մեկ միլիոն տոկենը, ուստի Anthropic-ի API-ն այն մերժեց։ Opus-ը 900K-ում չի գործարկվել։ Փաստաթղթերի անվանական չափերը տարբեր մոդելների համար նույն քանակի տոկեններ չեն նշանակում։ Տարբերությունը դրսևորվեց blast radius հարցում՝ որ 33 ծառայությունները կդադարեն աշխատել մեկի խափանումից հետո։ Opus-ը 500K-ում գտավ բոլոր 33-ը, 600K-ում՝ 32-ը՝ առանց սխալ ծառայություններ ավելացնելու։ Argon-ը 500K-ում գտավ 20 ճիշտ և ավելացրեց 8 սխալ ծառայություն, 600K-ում՝ 19 ճիշտ և 16 սխալ, 900K-ում՝ 23 ճիշտ և 2 սխալ։ Argon-ն օգտագործեց ընդամենը 243-425 ելքային տոկեն, Opus-ը՝ ավելի քան 5000։ Argon-ը պատասխանում էր առանց տեսանելի քայլ առ քայլ դատողության։ Հեղինակը դատողության սխալները լուրջ նախազգուշացում համարեց, բայց նշեց, որ մեկ գործարկումը չի ապացուցում դրանց պատճառահետևանքային կապը կարճ պատասխանի հետ։

Հեղինակի արդյունքները չհամընկան Google-ի բենչմարկների հետ, և նա չէր վստահի Argon-ին որևէ առաջադրանքում առանց վերապահումների։ Artificial Analysis-ի վարկանիշում Opus 5.5-ն ունի 58 միավոր, Argon-ը՝ 53։ Յուրաքանչյուր մոդելի իրականում կատարած փորձարկումների ընդհանուր արժեքը Argon-ի համար 4,98 դոլար էր՝ 423,3 վայրկյանում, Opus-ի համար՝ 8,75 դոլար՝ 511,0 վայրկյանում։

Աղբյուրներ: The New Stack