Yeni Taste-Bench: En iyi AI ajanları bile uzun vadeli kararlarda yazı tura atışından zor geçiyor

Ajanlar uzun vadeli kararları değerlendirmekte zorlanıyor

AI ajanları artık araştırma makaleleri yazma veya yazılım projeleri oluşturma gibi çok adımlı görevleri yerine getiriyor ve hangi hipotezi test edecekleri, hangi koda güvenecekleri veya bir sonraki adımda hangi deneyi yapacakları konusunda sürekli kararlar alıyor. Bu seçimlerin sonuçları nadiren anında belli olur. Kötü bir karar başta genellikle iyi görünür ve gerçek maliyeti ancak ajan bütçenin büyük bir kısmını harcadıktan sonra ortaya çıkar. Microsoft ve Hong Kong Şehir Üniversitesi araştırmacıları, bu seçimleri iyi yapma yeteneğini ajanın "beğenisine" (taste) dayandırıyor.

Taste-Bench nasıl çalışıyor?

Mevcut benchmark'lar yalnızca ajanın görevi tamamlayıp tamamlamadığını kontrol eder, ara adımların kalitesini değil. İnsan değerlendirmesi pahalı ve ölçeklenmesi zordur, bu yüzden araştırmacılar retrospektif yaklaşımı kullanıyor. Ajanın çalışma kayıtlarını alırlar, karşılaştıkları "karar kavşağında" durdurur - iki girişimin ayrıldığı noktada - tüm ilerleyen işleri simüle ederler ve modelden en iyi yolu seçmesini isterler. Her iki çalışmanın nihai sonucu en iyi versiyonu gösterdiği için, işler kendileri etiketli karşılaştırma sağlar. Taste-Bench, kodlama ve AI araştırma görevleri üzerinde binlerce değerlendirilmiş ajan çalışmasından oluşan 502 soru içerir; bunlar SWE-bench Pro ve METR'in herkese açık transkriptlerinin MALT sürümlerinden derlenmiştir. Bir üretici model önemsiz veya açıklayılamayan durumları filtreledi, insan denetimi ise neredeyse tüm otomatik etiketleri doğruladı.

En iyi modeller bile rastlantıdan zor geçiyor

Ekip, Claude, GPT, Grok, DeepSeek, GLM, MiniMax ve Mistral ailelerinden 14 modeli test etti. Her soru, yanıt varyasyonlarıyla iki kez yapıldı ve model yalnızca her iki kez doğru yanıt verdiğinde doğru kabul edildi; bu, rastgele tahmin için yalnızca %25 şans tanıyor. En iyi model GPT-5.6 Sol ortalama %59,7 puan topladı ve bunu %59,5 ile GPT-5.5 yakından izledi. Ana ipucu yalnızca uzun vadeli iş sonrası ortaya çıktığında doğruluk %21'e düştü - rastgele tahmine çok yakın - oysa ipucu önceki adımlarda görünür olduğunda doğruluk %62,3 seviyesindeydi. Karar bütçesini artırmak doğruluğu neredeyse değiştirmedi; bu, bu kavşaklarda gerekli ipucunun henüz basit olmadığını gösteriyor.

Beğeni eğitilebilir

Araştırmacılar, öğretici modelinin değerlendirme yeteneğini Qwen3.6-27B'ye aktardılar ve bu da modelin bilinmeyen görevlerdeki doğruluğunu %30'dan %47,9'a yükseltti. Bu tavsiyeler ayrı bir ajanın 41 ayrık SWE-bench Pro görevinde kullanıldığında, liderlik başarı oranını %14,6'dan %33,7'ye çıkardı - bu, tamamen doğru tavsiyenin sağladığı %39'a yakın bir seviye. Benchmark ve kodu herkese açık olarak sunulmuştur.

Kaynaklar: The Decoder