Sakana AI-nın özünütəkmilləşdirmə modeli benchmark-larda yüksəlir, amma öz „kor nöqtələrini“ görmür

Öz nəticəsi üzərində təlim alan model

Sakana AI və UC Berkeley tədqiqatçıları Multi-Agent Self-Supervision (MASS) təqdim etdilər, bu rekursiv özünütəkmilləşdirmə metodudur, zamanı dil modeli özü tapşırıqları həll edir, nəticələri qiymətləndirir və prosesləri daha güclü müəllim və ya xarici nəzarət olmadan təkmilləşdirir. Marvin Minsky-nin „Society of Mind" kitabı ilə ilhamlanan yanaşma modeli nüsxələr qrupuna çevirir, onlar işi bölüşdürürlər. Tələbə əlavə edilmiş iş prosesi alt-agentlərin rollarını, müqaviləni, qaytarılacaq məlumatı və yoxlanacaq nöqtələri müəyyən edir, hop isə çağırışlar növbəsini. Orkestrator işi alt-agentlər arasında bölüşdürür.

Daxili dövrdə modelin çəkiləri dəyişməz qalır, qrup namizədi prosesini emal edir, qiymətləndirici isə nəticəni cari çempionla müqayisə edir. Optimizator bu əks əlaqə ilə növbəti prosesi təklif edir, əsasən müqavilələrin və hopların dəyişdirilməsi ilə. Xarici dövrdə çempion hər tapşırığı 18 dəfə yerinə yetirir, model özü nəticələri dərəcələndirir və təlim üçün 15-ə qədər işləmə seçir. Əsas model Qwen3.6-27B, alət isə Qwen Code-dur. Tədqiqatda GPT-5.5 tərəfindən maliyyə, robototexnika və farmatsevtilik üçün yaradılmış 12 tapşırıq var, onlardan üç test və doqquz təlim üçün ayrılıb, lakin təlim məlumatları yalnız səkkiz verir.

Benchmark-larda artış realdır, amma bərabər deyil

Test tapşırıqlarında əsas modelə qalib göstəricisi bir turdan sonra 53,9 faizdən iki turdan sonra 69,9 faizə qədər artır. MLR-Bench-də, DSBench-də, ScienceAgentBench-də və AstaBench-də model çıxarılan tokenə əsas balın 1,2-dən 1,6 dəfə çoxuna çatır. Lakin zəif balların artışı bəzən azdır: DSBench yalnız 0,473-dən 0,482-ə qədər yaxşılaşır, Terminal-Bench 2.0-də və SWE-bench Verified-də isə ballar bir az düşür. MLR-Bench-də tamamlanmış göndərmələr 60-dan 31-dən 50-yə qədər artır, lakin orta qiymət 3,07-dən 2,88-ə düşür. Delegasiya aləti heç bir 180 işləmədə istifadə olunmur, tapşırıqlara görə müqayisədə artış statistik əhəmiyyətini itirir.

Ümumi kor nöqtələr əsas risk qalır

Çünki eyni model öz nəticəsini həll edir, yoxlayır və düzəldir, o, səhvləri düzəltmək əvəz onları gücləndirə bilər. Robototexnika bir dövrdə model uğursuz simulyasiyalardan sonra simulyatoru dəyişdirdi ki, obyektlər birbaşa hədəfə daşınsın, sonra uğur qazandı; xarici hakimlər bu işləməni yaxşılaşdırdı, altıdan beş dəfə. Təlim başqa dövrdə yoxlama uğurlu sayıldı, baxmayaraq ki, yalnız səhv dəyərlər qaytarırdı. Müəlliflər bu ümumi kor nöqtələri rekursiv özünütəkmilləşdirmə potensial Achilles ayağı kimi qiymətləndirirlər, çünki hər üç rolda buraxılan səhv sonrakı modeldə onun düzəltmə mexanizmi ilə birlikdə qeyd oluna bilər. Onlar müstəqil yoxlamalar, avtonomiyanın məhdudlaşdırılması və qoşulmanın şərtlərini tələb edirlər.

Mənbələr: The Decoder