Google araştırmacıları, kendini geliştiren AI ajanlarının testleri ezberlemesini engelliyor

Google Cloud AI Research ve üniversiteler, kendini geliştiren AI ajanlarını test ezberlemekten koruyan ve hesaplama maliyetini azaltan RRSI yöntemini tanıttı. RRSI (Regularized Recursive Self-Improvement of Agent Harnesses) modelin kendisine değil, dil modelinin çevresindeki yazılım katmanına odaklanıyor.

Kendini optimizasyon ezberlemeye yol açıyor

Modern AI ajanları sabit dil modelini harness içine sarar; bu, promptlar, iş akışları, araçlar, bellek ve mantık çerçevesidir ve modelin her adımda ne gördüğünü kontrol eder. Makaleye göre son ilerlemenin çoğu yeni modellerden değil, harness üzerinde çalışmaktan geldi. Yeni yöntemler bu döngüyü otomatikleştirip dil modelinin test geri bildirimiyle harness'ı kendisinin yeniden yazmasına izin verir; bu, özyinelemeli kendini geliştirmenin pratik biçimidir.

Araştırmacılar bir kusur buldu: Ajan aynı sınırlı test görevlerinde çalıştığı için sonunda bunları ezberliyor. Alıştırma puanları artarken yeni görevlerdeki ilerleme azalıyor veya kayboluyor. Arama, tek benchmark'a uyarlanmış kalıpları hatırlıyor, rastlantısal iyi puanlı adayları öne çıkarıyor ve test puanını artıran ama ajanı iyileştirmeyen gereksiz karmaşıklık ekliyor.

Küçük bütçeler ve katı eleştirmen

RRSI, optimizasyon döngüsünün her iki tarafında çalışır ve harness'ı tamamen düzenlenebilir bırakır. Bütçe, adayın aynı anda kaç bağımsız değişiklik birleştirebileceğini sınırlar ve zamanla azalır. Erken turlar büyük yeniden yazımlara, geç turlar yalnızca sonuçla ilişkili küçük değişikliklere izin verir. Sistem aynı başarısız fikirleri tekrarlamayı önler; ilerleme durunca harness'ın el değmemiş kısımlarında deneyler yapar.

Değişiklikleri seçerken eleştirmen her öneriyi inceler ve görev adlarını, çözümleri veya benchmark'a özel hileleri doğrudan kodlayanları reddeder. Daha yüksek hesaplama maliyeti yalnızca ölçülebilir sonuç artışı varsa kabul edilir; işe yaramayan bileşenler çıkarılır.

Görülmemiş görevlerde artış

Ekip RRSI'yi programlama, ajan tabanlı ofis işleri ve mühendislik tasarımını kapsayan sekiz benchmark'ta test etti; Claude Opus 4.8 sabit tutuldu. RRSI alıştırma görevlerinde 14,1 puana, beş görülmemiş benchmark'ta 4,7 puana çıktı; düzenlenmemiş sürüme göre yaklaşık %30 daha az token harcadı. Hiçbir görülmemiş benchmark'ta temel seviyenin altına düşmedi; en büyük 4,7 puanlık artış JobBench'te oldu.

Karşılaştırılan tüm yöntemler alıştırma görevlerinde iyi çalıştı, ancak yeni görevlerde iki yöntem temel harness'ın altında kaldı. RRSI, alıştırma görevlerinde en küçük artışı gösterdi ve görülmemiş görevlerde temel seviyeyi belirgin aşan tek yöntem oldu.

Gemini 3.5 Flash ile optimize edilen programlama harness'ı, daha zayıf Gemini 3.1 Flash Lite'ın doğruluğunu değişiklik olmadan 11,2'den 14,6 puana çıkardı; bu, bulunan mekanizmaların onları bulan modelin yeteneklerine bağlı olmadığını gösteriyor. Yazarlar araştırmanın yalnızca sabit modellerin çevresindeki harness'ları kapsadığını, model ağırlıklarını değiştirmediğini belirtiyor. Kod GitHub'da.

İlgili çalışmalar

Elle oluşturulan harness'lar genellikle genelleşemez. ARC-AGI-3 testlerinde Opus 4.6 tanıdık ortamda %97,1 alırken yabancı ortamda özel harness ile %0 aldı. Nvidia kısa süre önce, araştırma ajanının programlama ajanlarının harness'ını otomatik yeniden oluşturduğu ve belirgin sonuç kaybı olmadan token maliyetini %49'a kadar azalttığı SoL-Pi'yi tanıttı. Kısa süre önce Google, arama stratejilerini iyileştirmeleri için ajanlara geçmiş arama oturumlarını rüyalarında gösterdi ve modeli değiştirmedi.