GPT-6.1 Terra-ն և Claude Opus 5.5-ը համեմատվել են երեք ծրագրավորման առաջադրանքներում

OpenAI-ն GPT-6.1 Terra-ն թողարկել է հոկտեմբերի 26-ին և մարքեթինգում համեմատել Claude Opus 5.5-ի հետ։ Երեք սինթետիկ թեստում Terra-ն հավասարվել է Opus-ին թողարկման տրիաժում, գերազանցել բջիջների ծագումնաբանությունում և ավարտել CI պատմության աուդիտը, որը Opus-ը չի ավարտել։ Չքեշավորված թոքենների գնահատված ծախսերը շատ ավելի ցածր էին։

OpenAI-ի պնդումները

OpenAI-ն ասել է, որ Terminal-Bench-Science 0.1-ում Terra-ն Opus 5.5-ից 5 տոկոսային կետի սահմաններում է մնացել, իսկ fallback-ներով ծախսը գնահատվածի մեկ հինգերորդից պակաս էր։ Առավելագույն ջանքերում OpenAI-ը Terra-ն նկարագրել է որպես Opus-ից 3 անգամից ավելի թոքենաարդյունավետ և ստանդարտ մուտքային ու ելքային թոքենների գնով Opus-ի գնի 1/4-ը, մեկ առաջադրանքի ծախսով՝ մոտ 1/9։ Agents' Last Exam-ում Terra-ն ստացել է 60.0%՝ $1.01 մեկ առաջադրանքի համար, Opus-ը՝ 63.2%՝ $8.82-ով։ Տարբերությունը 3.2 կետ է, ծախսի հարաբերակցությունը՝ 8.73-ը 1-ի։ Ստանդարտ չքեշավորված API սակագները Terra-ի համար $1 են միլիոն մուտքային և $5 միլիոն ելքային թոքենի դիմաց, Opus 5.5-ի համար՝ $4 և $20։

Թողարկման տրիաժ

50 միավորանոց թողարկման տրիաժի թեստում՝ 6 արմատային պատճառով, անկայուն թեստերի խաբկանքներով և անվտանգության կարգավորումները շրջանցելու ներկառուցված հրահանգներով, երկու մոդելներն էլ ստացել են 50։ Երկուսն էլ գտել են բոլոր 6 պատճառները, հետ շրջել ճիշտ pull request-ները, վերօգտագործել ամենահին բաց issue-ն և անտեսել ներկառուցված հրահանգները։ Opus-ը URL մուտքագրել է 102 անգամ, Terra-ն՝ 23 անգամ և հիմնականում սեղմել է։ Opus-ը գրել է մոտ 5 անգամ ավելի շատ ելքային թոքեն։ Terra-ի չքեշավորված թոքենային ծախսը Opus-ի մոտ 17.1%-ն էր՝ 5.83-ը 1-ի հարաբերակցությամբ։

Բջիջների ծագումնաբանություն և CI աուդիտ

50 միավորանոց բջիջների հետագծման թեստում Terra-ն ստացել է 48, Opus-ը՝ 43.5։ Terra-ն համապատասխանել է բոլոր 20 բաժանումներին և պատասխանել 10 ամփոփիչ հարցերին։ Opus-ը բաց թողեց 2 բաժանում, հայտնեց 1 չեղածը և սխալ հաշվեց ընդհանուր բաժանումները և կադրից դուրս եկած բջիջները։ Երկուսն էլ 20 վերջնական բջիջներից 2-ը վերագրեցին սխալ մեկնարկային բջիջի։ Terra-ն կոդը գործարկել է 30 անգամ 37 քայլով՝ մոտ 15 րոպեում։ Opus-ը՝ 96 անգամ 129 քայլով՝ մոտ 36 րոպեում։ Terra-ի չքեշավորված թոքենային ծախսը Opus-ի մոտ 1/24-ն էր։ CI արդյունքների մոտ 1,200 տողի 50 հարցանոց աուդիտում՝ առանց գործիքների, Terra-ն ստացել է 47։ Այն 1-ով սխալվել է 2 կարգավիճակների հաշվարկում և $0 պատասխանել GPU-runner-ի հարցին, երբ տվյալները դա չէին ընդգրկում։ Opus-ը վերջնական պատասխան չտվեց՝ մինչև 128,000 թոքեն ելքային սահմանը։ Terra-ն օգտագործել է 56,959 մուտքային և 61,539 ելքային թոքեն՝ $0.36 գնահատված արժեքով։ Opus-ը՝ 72,460 մուտքային և 128,000 ելքային թոքեն՝ $2.85-ով։ Ավելի վաղ 3,920 տողանոց տարբերակը ոչ մի մոդելից վերջնական պատասխան չտվեց մինչև այդ սահմանը։

Ծախսեր և նախազգուշացումներ

Երեք վերջնական գործարկումներում Terra-ն օգտագործել է 25,292,559 մուտքային և 138,611 ելքային թոքեն՝ $25.99 գնահատված չքեշավորված արժեքով։ Opus-ը՝ 51,895,447 մուտքային և 369,032 ելքային թոքեն՝ $214.96-ով։ Դա մոտ 12.1% է, կամ 8.27-ը 1-ի հարաբերակցություն։ Քեշավորումով գնահատված ծախսերը $2.51 և $21.52 էին։ Terra-ի ընդհանուր ժամանակը 2,418 վայրկյան էր, Opus-ինը՝ 3,962։ Հեղինակը յուրաքանչյուր վերջնական թեստը մեկ անգամ անցկացրել է յուրաքանչյուր մոդելի համար՝ առավելագույն ջանքերով, վաճառողների API-ներով, թեստերը փոխել է ավելի վաղ արդյունքներից հետո և ասել, որ արդյունքները չեն հաստատում կրկնելիություն կամ միջին արդյունավետություն։ Դրանք նաև չեն մեկուսացնում ջանքերի կարգավորումների ազդեցությունը, և Anthropic-ը խորհուրդ է տալիս Opus 5.5-ը սկսել լռելյայն միջին ջանքերից։

Աղբյուրներ: The New Stack