Geri qayıt

Artificial Analysis: GPT-6.2 Astra və Sol daha sürətli cavab verir, lakin şəffaflıqda Claude-dan geri qalır
SiTech AI Team3 dəq oxu

Artificial Analysis: GPT-6.2 Astra və Sol daha sürətli cavab verir, lakin şəffaflıqda Claude-dan geri qalır

Artificial Analysis qiymətləndirməsinə görə, OpenAI-nin GPT-6.2 Astra və Sol modelləri 34 ilə 40 faiz daha qısa cavab verir və qeyri-müəyyənliyi daha az etiraf edir; Anthropic-in Claude modelləri isə şəffaflıq və təşkilatlanma üzrə daha yüksək bal toplayır.

Artificial Analysis qiymətləndirməsi göstərir ki, OpenAI-nin GPT-6.2 Astra və Sol modelləri əvvəlki versiyalarından 34 ilə 40 faiz daha qısa cavab verir və suallara daha birbaşa cavab verir. Eyni qiymətləndirmə onların qeyri-müəyyənliyi etiraf etmə meylini əvvəlkindən xeyli aşağı qiymətləndirir və Anthropic-in Claude Fable 5.2 və Opus 5.5 modelləri ilə müqayisə quruluş və şəffaflıq üzrə daha aşağı ballar göstərir.

Daha qısa və birbaşa cavablar

Astra-nın orta cavab uzunluğu 352 sözdən 210 sözə düşüb, yəni 40 faiz azalıb. Sol 337 sözdən 223 sözə düşüb, yəni 34 faiz azalıb. Hər iki model həm başlıqlardan, həm də uzun tirelərdən (em dash) xeyli az istifadə edir. Astra-nın hər cavabdakı orta başlıq sayı 1.99-dan 0.11-ə, Sol-un isə 1.85-dən 0.25-ə düşüb.

Organization Index də kəskin şəkildə azalıb. Astra 70-dən 11-ə, Sol isə 86-dan 27-yə düşüb. Bu indeks AI hakimləri tərəfindən qiymətləndirilən dörd xüsusiyyəti birləşdirir: cavab quruluşu, aydınlıq və Answer First. Answer First modelin sualın özünə dərhal cavab verib-vermədiyini ölçür. Sonuncu xüsusiyyətdə Astra 49-dan 89-a, Sol isə 64-dən 87-yə qalxıb. Natural Sounding dil üçün ballar da artıb: Astra üçün 58-dən 100-ə, Sol üçün isə 54-dən 79-a.

Şəffaflıq və təşkilatlanma fərqləri

Ən böyük dəyişiklik Admits Uncertainty xüsusiyyətində görünür. Astra-nın balı 96-dan 24-ə, Sol-un isə 98-dən 51-ə düşüb. Artificial Analysis qeyd edir ki, bu şəxsiyyət balları faiz deyil, 1-dən 100-ə qədər şkalada nisbi sıralamalardır. 24 bal o demək deyil ki, Astra cavablarının yalnız 24 faizində qeyri-müəyyənliyi etiraf edir.

Anthropic modelləri şəffaflıq və quruluş üzrə liderdir. Transparency Index-də Claude Fable 5.2 81, Opus 5.5 isə 90 bal toplayır; Astra 41, Sol isə 57 bal alır. Bu indeks beş xüsusiyyəti əhatə edir: Admits Uncertainty, Truthful, Disclaims Assumptions, Flags Nuances və Sycophantic. Sycophantic tərs qiymətləndirilir, çünki daha az yaltaqlanma müsbət sayılır.

Anthropic həmçinin Organization üzrə liderdir. Opus 5.5 79, Fable 5.2 54, Astra 11, Sol isə 27 bal toplayır. Opus 5.5 Informativeness Index-də 90 balla seçilir; Fable 5.2 47, Sol 38, Astra isə 31 bal alır. Onun ən güclü fərdi xüsusiyyətlərinə Information Dense və Evidence-Based reasoning daxildir. O, həmçinin benchmark-da informasiya sıxlığı üzrə ən yaxşı modellər sırasındadır.

Benchmark necə işləyir

AA-PersonalityBench hər modelin sistem promptu olmadan cavab verdiyi 900 ingilisdilli test sualından istifadə edir. Üç AI modeldən ibarət panel anonimləşdirilmiş cavab cütlərini qiymətləndirir. Hər müqayisədə bir AI hakim hansı cavabın test edilən şəxsiyyət xüsusiyyətini daha güclü göstərdiyini seçir və ya heç-heçə elan edir. Artificial Analysis 30 fərdi şəxsiyyət xüsusiyyəti üçün bal hesablayır; onlar səkkiz daha yüksək səviyyəli indeksə daxil olur. Bütün müqayisələrdə Artificial Analysis tərəfindən göstərilən max model variantları və maksimum reasoning effort ilə model variantları istifadə olunur.

Ayrı olaraq, Artificial Analysis AI hakimləri tərəfindən qiymətləndirilməyən, birbaşa sayılan 21 ünsiyyət xüsusiyyətini ölçür. Bunlara orta cavab uzunluğu və hər cavabdakı başlıq və uzun tire (em dash) sayı daxildir. 1-dən 100-ə qədər indeks dəyərləri hər modelin bütün test edilmiş modellər arasında nisbi mövqeyini əks etdirir. Şəxsiyyət balları ümumi cavab keyfiyyətini deyil, ünsiyyət tərzi fərqlərini təsvir edir. Daha aşağı Transparency Index mütləq şəkildə modelin daha çox səhv cavab verməsi demək deyil.

Əvvəlki yazı: OpenAI GPT-6.2 Astra və GPT-6.2 Sol modellərini təqdim edir

Mənbələr: The Decoder

SiTech

SiTech — AI ilə gücləndirilmiş veb hazırlanması

Sürətli və müasir saytlar qurur, AI-ı real biznes proseslərinə gətiririk. Layihəniz və ya sualınız var? Kömək etməyə hazırıq.