AI kodlama ajanları gerçek dünyadaki testte görevlerin yaklaşık dörtte üçünde hâlâ insan temizliği gerektiriyor

Alibaba ve birkaç Asya üniversitesinden araştırmacılar, mevcut web uygulamalarına yönelik gerçek kullanıcı değişiklik isteklerine dayanan bir kodlama ajanı testi olan Co-Design Bench'i oluşturdu. Test edilen on modelden en iyisi olan GPT-6 Astra bile görevlerin yalnızca yaklaşık dörtte birini tamamen tamamlıyor; gereksinimlerin ortalama yüzde 70'ini karşılıyor. Çoğu durumda kullanıcı yine de en az bir ayrıntıyı elle temizlemek zorunda kalıyor.

Eski kıyaslama testleri neden çok kolay görünüyor

Yazarlar mevcut kıyaslama testlerinin doygunluğa ulaştığını söylüyor. Kodlama ajanları kendi kodlarını çalıştırabildiğinde, kontrol edebildiğinde ve düzeltebildiğinde bu testlerde yüzde 99'un üzerinde puan alıyor ve modeller arasındaki farklar neredeyse ölçülemiyor hale geliyor. WebCompass-edit gibi eski kıyaslama testlerinde ajan tabanlı kodlama modelleri neredeyse mükemmel puanlara ulaşıyor; Co-Design Bench ise 35 puandan fazla bir fark ortaya koyuyor.

Yeni kıyaslama testi nasıl çalışıyor

Co-Design Bench gerçek kodlama oturumlarından gelen gerçek isteklere dayanıyor. Araştırmacılar kullanıcıların bir isteği birden çok kez yeniden ifade etmek veya değişiklikleri geri almak zorunda kaldığı durumları tercih etti; böylece test çoğunlukla pratikte AI ajanlarına zaten zorluk çıkarmış görevleri içeriyor. Görevler, bir makbuzdan tutar çekip tüm bağımlı toplamları güncellemek gibi küçük ayarlardan tam ölçekli proje revizyonlarına kadar uzanıyor. Çok modlu izlekte ajanlar makbuzlardan, tablolardan veya videolardan değerleri çıkarmak ve tüm bağımlı görünümleri tutarlı biçimde güncellemek zorunda kalıyor. Puanlama katı: bir AI hakem bitmiş uygulamayı tarayıcıda test ediyor, ardından ikincisi her olumlu kararı yeniden kontrol ediyor ve sahte düzenler veya sabit kodlanmış sonuçlar arıyor. Puanlar yalnızca uygulamada gerçekten çalışan özelliklere veriliyor.

Modeller birleşik değişikliklerde zorlanıyor

GPT-6 Astra'nın arkasında Claude Opus 5 ve Qwen3.8-Max bir sonraki sıraları alıyor; Grok 4.6 ise son sıraya yerleşiyor. Daha büyük revizyonlarda çok daha küçük Qwen3.8-27B ikinci sıraya yükseliyor, ancak yazarlar bu sonuçtan model için genel bir avantaj çıkarmıyor. Bir görev daha fazla değişiklik türünü bir araya getirdikçe tüm modellerde performans düşüyor; buna düzen, tasarım, etkileşim ve içerik dahil. On modelin tamamı bir görev üç veya dört farklı değişiklik türü gerektirdiğinde daha düşük puan alıyor. Ek hesaplama bu zayıflığı pek gidermiyor: GLM-5.2 daha küçük değişikliklerde GPT-6 Astra'dan neredeyse altı kat daha fazla token tüketiyor ve yine de önemli ölçüde daha kötü puan alıyor. GPT-6 Astra her iki izlekte de lider, ancak çok modlu görevlerin yalnızca yüzde 41'ini ve kod deposu görevlerinin yüzde 18'inin biraz altını tamamen çözüyor.

Çalışma ortamı ve test sınırları

Ayrı bir testte araştırmacılar aynı modelleri farklı çalışma ortamlarında, yani bir ajanın kodu okuduğu, yazdığı ve çalıştırdığı programlar içinde çalıştırdı. Qwen3.8-27B daha büyük revizyonlarda ortama bağlı olarak yüzde 75 veya yalnızca yüzde 56 puan aldı; iki modelden hangisinin önde çıkacağı da ortama bağlıydı. Yalnızca modeli listeleyen liderlik tabloları bu nedenle hikâyenin yalnızca bir kısmını anlatıyor ve yazarlar model ile çalışma ortamının her zaman birlikte raporlanmasını öneriyor. Bir kodlama ajanı seçen şirketler için bu, her iki bileşeni bir çift olarak test etmek anlamına geliyor. Kıyaslama testinin de sınırları var: her görev için tek bir sabit isteği değerlendiriyor, bu nedenle takip soruları veya görev ortasında düzeltmeler testin parçası değil ve AI hakemler hata yapabiliyor. METR tarafından yapılan bir çalışma, kıyaslama testi sonuçları ile gerçek dünya kullanılabilirliğinin ayrışabileceğini buldu; proje yöneticilerinin AI tarafından üretilen kodu gerçekten kabul etme oranı SWE-bench Verified puanlarının yaklaşık 24 puan altında. Test ortamındaki kusurlar da ajanların görevleri gerçekten çözmeden geçmesine izin verebiliyor. Çalışma ortamının etkisi ise net değil: yakın tarihli bir çalışma, daha karmaşık çalışma ortamlarından neredeyse ölçülebilir bir fayda bulamadı; üstelik bunlar üç kata kadar daha fazla token tüketmişti.

Kaynaklar: The Decoder