
Artificial Analysis: GPT-6.2 Astra-ն և Sol-ը պատասխանում են ավելի արագ, բայց զիջում են Claude-ին թափանցիկությամբ
Artificial Analysis-ի գնահատմամբ OpenAI-ի GPT-6.2 Astra-ն և Sol-ը տալիս են 34-40 տոկոսով կարճ պատասխաններ և ավելի հազվադեպ են ընդունում անորոշությունը, մինչդեռ Anthropic-ի Claude մոդելները թափանցիկության և կազմակերպվածության հարցում ավելի բարձր են գնահատվում։
Artificial Analysis-ի գնահատումը ցույց է տալիս, որ OpenAI-ի GPT-6.2 Astra-ն և Sol-ը տալիս են 34-ից 40 տոկոսով ավելի կարճ պատասխաններ, քան իրենց նախորդները, և ավելի ուղղակիորեն են անդրադառնում հարցերին։ Նույն գնահատումը նրանց անորոշությունն ընդունելու հակվածությունը գնահատում է շատ ավելի ցածր, քան նախկինում, իսկ Anthropic-ի Claude Fable 5.2-ի և Opus 5.5-ի հետ համեմատությունը ցույց է տալիս ավելի ցածր գնահատականներ կառուցվածքի և թափանցիկության հարցում։
Ավելի կարճ և ուղղակի պատասխաններ
Astra-ի պատասխանի միջին երկարությունը նվազել է 352-ից 210 բառի, այսինքն՝ 40 տոկոսով։ Sol-ը 337-ից դարձել է 223 բառ՝ 34 տոկոսով պակաս։ Երկու մոդելներն էլ օգտագործում են շատ ավելի քիչ վերնագրեր և երկար գծիկներ։ Astra-ի պատասխանում վերնագրերի միջին քանակը 1.99-ից իջել է 0.11-ի, իսկ Sol-ինը՝ 1.85-ից 0.25-ի։
Organization Index-ը նույնպես կտրուկ իջել է։ Astra-ն 70-ից դարձել է 11, իսկ Sol-ը՝ 86-ից 27։ Այս ինդեքսը միավորում է AI դատավորների գնահատած չորս հատկանիշ, այդ թվում՝ պատասխանի կառուցվածքը, պարզությունը և Answer First-ը, որը չափում է՝ արդյոք մոդելն անմիջապես անդրադառնում է փաստացի հարցին։ Վերջին հատկանիշում Astra-ն 49-ից բարձրացել է 89-ի, իսկ Sol-ը՝ 64-ից 87-ի։ Natural Sounding լեզվի գնահատականները նույնպես աճել են՝ Astra-ի համար 58-ից 100, իսկ Sol-ի համար՝ 54-ից 79։
Թափանցիկության և կազմակերպվածության բացեր
Ամենամեծ փոփոխությունը երևում է Admits Uncertainty հատկանիշում։ Astra-ի գնահատականը 96-ից իջել է 24-ի, իսկ Sol-ինը՝ 98-ից 51-ի։ Artificial Analysis-ը նշում է, որ այս անհատականության գնահատականները հարաբերական դասակարգումներ են 1-ից 100 սանդղակում, ոչ թե տոկոսներ։ 24 գնահատականը չի նշանակում, որ Astra-ն անորոշությունն ընդունում է իր պատասխանների միայն 24 տոկոսում։
Anthropic-ի մոդելները առաջատար են թափանցիկության և կառուցվածքի հարցում։ Transparency Index-ում Claude Fable 5.2-ը ստանում է 81, իսկ Opus 5.5-ը՝ 90, ինչը բարձր է Astra-ի 41-ից և Sol-ի 57-ից։ Այս ինդեքսը ներառում է հինգ հատկանիշ՝ Admits Uncertainty, Truthful, Disclaims Assumptions, Flags Nuances և Sycophantic։ Sycophantic-ը գնահատվում է հակադարձ, քանի որ ավելի քիչ շողոքորթությունը համարվում է դրական։
Anthropic-ը նաև առաջատար է կազմակերպվածության հարցում։ Opus 5.5-ը ստանում է 79, Fable 5.2-ը՝ 54, Astra-ն՝ 11, իսկ Sol-ը՝ 27։ Opus 5.5-ն առանձնանում է Informativeness Index-ում 90 գնահատականով՝ զգալիորեն առաջ լինելով Fable 5.2-ի 47-ից, Sol-ի 38-ից և Astra-ի 31-ից։ Նրա ամենաուժեղ անհատական հատկանիշներից են Information Dense-ը և Evidence-Based reasoning-ը։ Այն նաև benchmark-ում տեղեկատվական խտությամբ մտնում է լավագույն մոդելների շարքը։
Ինչպես է աշխատում benchmark-ը
AA-PersonalityBench-ն օգտագործում է 900 անգլերեն փորձնական հարց, որոնց յուրաքանչյուր մոդել պատասխանում է առանց system prompt-ի։ Երեք AI մոդելներից բաղկացած հանձնաժողովը գնահատում է անանուն պատասխանների զույգեր։ Յուրաքանչյուր համեմատության համար մեկ AI դատավոր ընտրում է, թե որ պատասխանն է ավելի ուժեղ դրսևորում փորձարկվող անհատականության հատկանիշը, կամ այն հայտարարում է ոչ-ոքի։ Artificial Analysis-ը հաշվարկում է 30 առանձին անհատականության հատկանիշների գնահատականներ, որոնք հոսում են ութ ավելի բարձր մակարդակի ինդեքսների մեջ։ Բոլոր համեմատություններում օգտագործվում են Artificial Analysis-ի նշած max model variants-ը և առավելագույն reasoning effort-ով model variants-ը։
Առանձին, Artificial Analysis-ը չափում է 21 հաղորդակցական հատկանիշ, որոնք հաշվվում են ուղղակիորեն, այլ ոչ թե գնահատվում AI դատավորների կողմից։ Դրանք ներառում են պատասխանի միջին երկարությունը և յուրաքանչյուր պատասխանում վերնագրերի ու երկար գծիկների քանակը։ 1-ից 100 ինդեքսային արժեքները արտացոլում են յուրաքանչյուր մոդելի հարաբերական դիրքը բոլոր փորձարկված մոդելների մեջ։ Անհատականության գնահատականները նկարագրում են հաղորդակցական ոճի տարբերությունները, ոչ թե պատասխանի ընդհանուր որակը։ Ավելի ցածր Transparency Index-ը պարտադիր չէ, որ նշանակի, թե մոդելը ավելի հաճախ է սխալ պատասխաններ տալիս։
Ավելի վաղ լուսաբանում: OpenAI-ն ներկայացնում է GPT-6.2 Astra-ն և GPT-6.2 Sol-ը
Աղբյուրներ: The Decoder
SiTech — AI-ով հզորացված վեբ մշակում
Ստեղծում ենք արագ ու ժամանակակից կայքեր և AI-ը ներդնում իրական բիզնես գործընթացներում։ Ունե՞ք նախագիծ կամ հարց։ Ուրախ կլինենք օգնել։