
Artificial Analysis: GPT-6.2 Astra ve Sol Daha Hızlı Yanıt Veriyor, Ancak Şeffaflıkta Claude'un Gerisinde Kalıyor
Artificial Analysis değerlendirmesine göre OpenAI'nın GPT-6.2 Astra ve Sol modelleri yüzde 34 ila 40 daha kısa yanıtlar veriyor ve belirsizliği daha az kabul ediyor; Anthropic'in Claude modelleri ise şeffaflık ve organizasyon konusunda daha yüksek puan alıyor.
Artificial Analysis değerlendirmesi, OpenAI'nın GPT-6.2 Astra ve Sol modellerinin önceki sürümlerine göre yüzde 34 ila 40 daha kısa yanıtlar ürettiğini ve soruları daha doğrudan yanıtladığını gösteriyor. Aynı değerlendirme, belirsizliği kabul etme eğilimlerini önceki sürümlere göre çok daha düşük puanlıyor; Anthropic'in Claude Fable 5.2 ve Opus 5.5 ile yapılan karşılaştırmada ise yapı ve şeffaflık konusunda daha düşük puanlar alıyorlar.
Daha kısa ve daha doğrudan yanıtlar
Astra'nın ortalama yanıt uzunluğu 352 kelimeden 210 kelimeye düştü; bu yüzde 40'lık bir azalma. Sol ise 337 kelimeden 223 kelimeye indi; yüzde 34 azalma. Her iki model de çok daha az başlık ve em tire kullanıyor. Astra'nın yanıt başına ortalama başlık sayısı 1.99'dan 0.11'e, Sol'un ise 1.85'ten 0.25'e düştü.
Organization Index de keskin biçimde düştü. Astra 70'ten 11'e, Sol ise 86'dan 27'ye indi. Bu indeks, yanıt yapısı, açıklık ve Answer First dahil olmak üzere yapay zeka hakemlerince puanlanan dört özelliği birleştirir; Answer First, bir modelin asıl soruyu hemen yanıtlıp yanıtlamadığını ölçer. Bu son özellikte Astra 49'dan 89'a, Sol ise 64'ten 87'ye yükseldi. Natural Sounding language puanları da arttı: Astra için 58'den 100'e, Sol için 54'ten 79'a.
Şeffaflık ve organizasyon farkları
En büyük değişim Admits Uncertainty özelliğinde görünüyor. Astra'nın puanı 96'dan 24'e, Sol'un puanı 98'den 51'e düştü. Artificial Analysis, bu kişilik puanlarının yüzde değil, 1 ile 100 arasında göreceli sıralamalar olduğunu belirtiyor. 24 puan, Astra'nın yanıtlarının yalnızca yüzde 24'ünde belirsizliği kabul ettiği anlamına gelmiyor.
Anthropic'in modelleri şeffaflık ve yapı konusunda önde. Transparency Index'te Claude Fable 5.2 81, Opus 5.5 ise 90 puan alıyor; Astra 41, Sol ise 57 puan. Bu indeks beş özelliği kapsıyor: Admits Uncertainty, Truthful, Disclaims Assumptions, Flags Nuances ve Sycophantic. Sycophantic ters puanlanır, çünkü daha az yaltaklanma olumlu sayılır.
Anthropic, organizasyon konusunda da önde. Opus 5.5 79, Fable 5.2 54, Astra 11, Sol ise 27 puan alıyor. Opus 5.5, Informativeness Index'te 90 puanla öne çıkıyor; Fable 5.2 47, Sol 38, Astra ise 31 puan. En güçlü bireysel özellikleri arasında Information Dense ve Evidence-Based reasoning yer alıyor. Ayrıca kıyaslama testinde bilgi yoğunluğu konusunda en üst modeller arasında yer alıyor.
Kıyaslama testi nasıl çalışıyor
AA-PersonalityBench, her modelin sistem istemi olmadan yanıtladığı 900 İngilizce test sorusu kullanıyor. Anonimleştirilmiş yanıt çiftlerini üç yapay zeka modelinden oluşan bir panel değerlendiriyor. Her karşılaştırmada bir yapay zeka hakemi, test edilen kişilik özelliğini daha güçlü gösteren yanıtı seçiyor ya da berabere ilan ediyor. Artificial Analysis, sekiz üst düzey indekse beslenen 30 bireysel kişilik özelliği için puan hesaplıyor. Tüm karşılaştırmalar Artificial Analysis tarafından listelenen max model varyantlarını ve maksimum akıl yürütme çabasıyla çalışan model varyantlarını kullanıyor.
Ayrıca Artificial Analysis, yapay zeka hakemlerince puanlanmak yerine doğrudan sayılan 21 iletişim özelliğini ölçüyor. Bunlar arasında ortalama yanıt uzunluğu ile yanıt başına başlık ve em tire sayısı yer alıyor. 1 ile 100 arasındaki indeks değerleri, her modelin test edilen tüm modeller içindeki göreceli konumunu yansıtıyor. Kişilik puanları genel yanıt kalitesini değil, iletişim stili farklarını tanımlıyor. Daha düşük bir Transparency Index, bir modelin daha sık yanlış yanıt verdiği anlamına gelmiyor.
Önceki haber: OpenAI, GPT-6.2 Astra ve GPT-6.2 Sol'u tanıtıyor
Kaynaklar: The Decoder
SiTech — AI destekli web geliştirme
Hızlı ve modern web siteleri kuruyor, AI'yı gerçek iş akışlarına taşıyoruz. Projeniz veya sorunuz mu var? Yardımcı olmaktan mutluluk duyarız.