
27B açıq model təlimsiz öz çəkilərini yenidən yazır, məqalə bildirir
Yeni arXiv preprinti bildirir ki, açıq 27B dil modeli öz uğursuzluqlarını diaqnoz edə və yalnız mühakimə ilə çəkilərini yenidən yazaraq, qradientlər və ya təlim olmadan görünməmiş problemlərdə yaxşılaşa bilər.
2026-cı il noyabrın 16-da arXiv-də yerləşdirilmiş preprint özünü yenidən yazma (self-rewriting) metodunu təsvir edir: dil modeli öz mühakiməsindən istifadə edərək, qradientlər və ya təlim olmadan çəkilərini dəyişdirir. Müəlliflər bildirir ki, açıq 27B model görünməmiş problemlərdə öz çəkilərini yenidən yazdıqdan sonra 6,6 xal yaxşılaşdı və özünün zədələnmiş nüsxəsini təmir edə bildi. Onlar bu bacarığın bir model ailəsində yalnız ən böyük modeldə ortaya çıxdığını deyirlər.
Təlimsiz özünü yenidən yazma
Məqalə bildirir ki, dil modeli adətən bir dəfə təlim keçir və sonra dondurulur. Onu yaxşılaşdırmaq üçün tərtibatçılar adətən daha çox təlim keçirir, promptlar və ya harnesslər əlavə edir, yaxud tapşırıqla bitən inferens zamanı əlavə hesablama xərcləyir. Müəlliflər üçüncü variant kimi özünü yenidən yazmanı təklif edirlər: model öz optimizatoru kimi çıxış edir və çəkilərini yalnız mühakimə vasitəsilə yenidən yazır. Onlar bunu daha əvvəlki işlərlə müqayisə edirlər ki, orada qabaqcıl model çox daha kiçik modeli redaktə etmişdi. Bu tədqiqatda açıq 27B modelə çəkiləri, qiymətləndirilmiş cavablar və özünü işə salma imkanı verildi; sonra o, öz uğursuzluğunu diaqnoz etdi və arxasındakı çəkiləri yenidən yazdı.
Redaktələri sınaqdan keçirmə və zədəni təmir etmə
Müəlliflər bildirir ki, model özündən ötüb keçdi: onun öz redaktəsi görünməmiş problemlərdə 6,6 xal daha dəqiq etdi. Onlar həmçinin deyirlər ki, model təcrübə problemlərində redaktələri sınaqdan keçirib və yalnız işləyənləri təqdim etməklə davamlı yaxşılaşır; hər redaktə əvvəlkini üstələyir; səkkiz ardıcıl sessiya ərzində dəqiqliyi yalnız artdı. Başqa bir sınaqda model özünün zədələnmiş nüsxəsini təmir etdi. Nüsxə demək olar ki, heç nə həll etmirdi, lakin yenidən təlim olmadan və orijinal çəkiləri oxumadan model onu görünməmiş şəkil tapşırıqlarında orijinal dəqiqliyin 80 faizindən çoxuna qaytardı.
Miqyas və gələcək təsirlər
Bu bacarıq miqyasla ortaya çıxır görünür. Bir model ailəsində kiçik modellər heç bir redaktə etmədi və ya özlərini sındırdılar, yalnız ən böyüyü yaxşılaşdı və özünü təmir etdi. Müəlliflər deyirlər ki, özünü yenidən yazma hər cavab üçün xərcsiz qazancı çəkilərə yazır, test-time scaling-dən fərqli olaraq, və yalnız forward pass-lər işlədir, təlim kimi deyil, servis kimi. Onlar iddia edirlər ki, təlim və inferens arasındakı divar cari alətlərin məhdudiyyətidir, intellektin xüsusiyyəti deyil, və özünü yenidən yazma rekursiv özünü təkmilləşdirməyə doğru zəruri addımdır. Onlar təklif edirlər ki, model daha böyük model, harness və ya prompt mühəndisliyi, yaxud pre-training və post-training olmadan ömrü boyu özünü yeniləyə bilər.
Mənbələr: arxiv.org
SiTech — AI ilə gücləndirilmiş veb hazırlanması
Sürətli və müasir saytlar qurur, AI-ı real biznes proseslərinə gətiririk. Layihəniz və ya sualınız var? Kömək etməyə hazırıq.