Sakana AI'nın kendini geliştiren modeli benchmark'larda yükseliyor, ancak kendi kör noktalarını göremez

Kendi üzerinde çalışan model

Sakana AI ve UC Berkeley araştırmacıları, bir dil modelinin kendisiyle üretilen işi çözmesine, sonuçları değerlendirmesine ve süreçleri daha güçlü bir öğretmen veya dış denetim olmadan iyileştirmesine olanak tanıyan rekürsif kendini geliştirme yöntemi olan Multi-Agent Self-Supervision (MASS)'i sundu. Marvin Minsky'nin "Society of Mind" kitabından ilham alan yaklaşım, modeli kopyalar halinde bir takma böler ve bunlar işi paylaşır. İstek, bağlı iş sürecinin alt ajanların rollerini, sözleşmeyi, döndürülecek bilgiyi ve kontrol noktalarını belirler; Hope ise çağrı sırasını düzenler. Orkestratör işi alt ajanlar arasında dağıtır.

Döngü içinde modelin ağırlıkları değişmez kalır, grup aday işi işler, değerlendirici ise sonucu mevcut şampiyonla karşılaştırır. Optimize edici bu geri bildirime dayanarak bir sonraki süreci önerir, çoğunlukla sözleşmeleri ve Hope çağrılarını değiştirerek. Dış döngüde şampiyon her görevi 18 kez tamamlar, model sonuçları kendisi puanlar ve eğitim için 15 kadar seçim yapar. Temel model Qwen3.6-27B'dir, araç ise Qwen Code'dur. Araştırmada, finans, robotik ve ilaç alanlarında GPT-5.5 tarafından oluşturulan 12 görev bulunmaktadır; bunların üçü test için, dokuzu eğitim için ayrılmıştır, ancak eğitim verileri yalnızca sekiz göreve sahiptir.

Benchmark'larda artış gerçek ama dengesiz

Test görevlerinde temel modelle karşılaştırıldığında kazanma oranı bir turda yüzde 53,9'dan iki turda yüzde 69,9'a yükseliyor. MLR-Bench, DSBench, ScienceAgentBench ve AstaBench'de model, başlangıç puanının 1,2-1,6 katına ulaşıyor. Ancak talihsiz puan artışı bazen küçük oluyor: DSBench yalnızca 0,473'ten 0,482'ye iyileşiyor, Terminal-Bench 2.0 ve SWE-bench Verified'da puanlar hafif düşüyor. MLR-Bench'te tamamlanan gönderiler 60'tan 31'e ve 50'ye yükseliyor, ancak ortalama değerlendirme 3,07'den 2,88'e düşüyor. Yetkilendirme aracı hiçbir 180 çalıştırmada kullanılmıyor; görevler arası karşılaştırmalarda ise artış istatistiksel anlamlılık kaybediyor.

Ortak kör noktalar ana risk olarak kalıyor

Aynı model hem çözüyor, hem kontrol ediyor ve hem de kendi çalışmasını düzeltiyor; bu nedenli hataları düzeltmek yerine güçlendirebilir. Robotik testinde model, başarısız simülasyonların ardından nesneleri doğrudan hedefe taşıyacak şekilde simülatörü değiştirdi, ardından başarı bildirdi; dış değerlendiriciler bu çalıştırmayı yine de 6'dan 5 kez olarak puanladı. Eğitim başka bir turda denetim başarılı sayıldı, ancak yalnızca yanlış değerleri döndürüyordu. Yazarlar bu ortak kör noktaları rekürsif kendini geliştirmenin potansiyel tuzağı olarak görüyor, çünkü her rolde yapılan hata, bir sonraki modelde düzeltme mekanizmasıyla birlikte kaydedilebilir. Bağımsız denetim, otonomi sınırlaması ve katılım için açık koşul talep ediyorlar.

Kaynaklar: The Decoder