Vals AI testi gösterdi: Agent ekipleri 5,1 kat daha pahalı, fayda ise minimal

Ekipler pahalı, sonuç nadiren daha iyi oluyor

Vals AI, GPT-6 Sol ve Claude Opus 5.5'i Vibe Code Bench'de hem tek başına ajanlar hem de ekip olarak, ortalama ve maksimum muhakeme seviyelerinde test etti. Ekip yapılandırmaları, tek ajanlara kıyasla 1,8 kattan 5,1 kata kadar daha pahalı çıktı.

Ekipler ve tek ajanlar arasındaki dört karşılaştırmadan yalnızca biri istatistiksel olarak önemli bir iyileşme gösterdi. Bu, GPT-6 Sol'un ortalama muhakeme seviyesinde gerçekleşti ve ekip, tek ajana göre 7,3 puan daha fazla aldı. Maksimum muhakeme seviyesinde ekip yapılandırması ne Sol'a ne de Opus 5.5'e gerçek bir avantaj sağladı.

Ölcelleme önce hızı, sonra kaliteyi sağlıyor

Vals AI'ye göre, kıyaslaması Vibe Code Bench'de her uygulamanın maliyetini puanla karşılaştırdı; oklar, aynı muhakeme seviyesinde her modelin tek ajanından ekibine doğru ilerliyordu. Ekipler katbekat daha pahalı, puanlar ise yavaş yavaş artıyor.

Anthropic da Opus 5.5 ile kendi iki testinde, ajan sayısının artmasıyla kalite kazancının azaldığını gözlemledi. Daha büyük ekipler verilen görevlere daha hızlı ulaşıyordu ancak 10'dan 100 ajana geçiş 24 saat sonrasında puanları yalnızca hafifçe yükseltti. ProgramBench testlerinde hız kazancı daha yüksek token maliyetini beraberinde getirdi. Bilgi tabanı görevinde Opus 5.5 tek ajanla 0,53 puan aldı, onla 0,70, 30'la 0,71, 100 ile 0,74. Lean teoremlerinin ispatı görevinde tek ajanla 0,39 puan aldı, onla 0,66, 30'la 0,66, 100 ile 0,68.

Fable 5.1, Lean teoremlerinin ispatı görevinde on ajanın üzerinde daha güçlü bir kalite artışı gösterdi ancak tüm testlerde yine de Opus 5.5'ten düşük puan aldı. Bilgi tabanı görevinde Fable'ın puanı, 30'dan 100 ajana geçişte gerçekten yalnızca hafifçe düştü.

Koordinasyon ajan gruplarını sınırlıyor

OpenAI araştırmacısı Noam Brown, Dworkesh Podcast'de çok ajanlı sistemlerin temelde hız kazandığını, daha iyi kalite kazanmadığını söyledi. Onun ifadesiyle, dört ajan görevleri iki kat daha hızlı çözdü ama iki kat daha pahalıya da geldi; 16 ajan durumunda bu model korunuyordu ancak verimlilik hafifçe azaldı. Etkiliğin göreve bağımlı olduğunu belirtti: web araştırma ve matematik iyi paralelleşirken roman yazmak paralelleşmiyor. Brown, 10 000 ajan kullanarak roman yazmanın 10 000 insan kullanmak kadar anlamsız olacağını ve çok büyük ajan sayılarına ölçeklemenin hâlâ yeterince araştırılmadığını ekledi çünkü maliyetler çok yüksek.

OpenAI geliştiricisi Eric Provencher de aynı nedenle ajan gruplarının kullanımı konusunda uyarıda bulundu. Onun görüşüne göre, büyük olasılıkla para israfı çünkü ajanlar arasında koordinasyon bozuluyor; bu soruna "koordinasyon vergisi" adını verdi.

Kaynaklar: The Decoder