Geri Dön

Açık 27B Model Eğitim Olmadan Kendi Ağırlıklarını Yeniden Yazıyor, Makale Diyor
SiTech AI Team2 dk okuma

Açık 27B Model Eğitim Olmadan Kendi Ağırlıklarını Yeniden Yazıyor, Makale Diyor

Yeni bir arXiv ön baskısı, açık 27B dil modelinin kendi hatalarını teşhis edip yalnızca akıl yürütmeyle ağırlıklarını yeniden yazabildiğini; gradyan veya eğitim olmadan görülmemiş sorunlarda ilerleme kaydettiğini söylüyor.

16 Kasım 2026'da arXiv'e gönderilen bir ön baskı, bir dil modelinin gradyan veya eğitim olmadan kendi akıl yürütmesini kullanarak ağırlıklarını değiştirdiği kendi kendini yeniden yazma yöntemini anlatıyor. Yazarlar, açık 27B modelin kendi ağırlıklarını yeniden yazdıktan sonra görülmemiş sorunlarda 6,6 puan ilerlediğini ve hasarlı bir kopyasını onardığını bildiriyor. Bu yeteneğin bir model ailesinde yalnızca en büyük modelde ortaya çıktığını söylüyorlar.

Eğitim olmadan kendi kendini yeniden yazma

Makale, bir dil modelinin genellikle bir kez eğitildiğini ve sonra dondurulduğunu söylüyor. Onu geliştirmek için geliştiriciler tipik olarak daha fazla eğitim çalıştırır, istem veya yardımcı araçlar ekler ya da görevle biten çıkarım sırasında ek hesaplama harcar. Yazarlar üçüncü bir seçenek öneriyor: model kendi optimize edicisi olarak hareket eder ve yalnızca akıl yürütme yoluyla ağırlıklarını yeniden yazar. Bunu, önde gelen bir modelin çok daha küçük bir modeli düzenlediği önceki çalışmadan ayırıyorlar. Bu çalışmada açık 27B model, ağırlıkları, notlandırılmış yanıtları ve kendini çalıştırma yeteneği verildikten sonra kendi hatasını teşhis etti ve bunun arkasındaki ağırlıkları yeniden yazdı.

Düzenlemeleri test etme ve hasarı onarma

Yazarlar, modelin kendini aştığını bildiriyor: kendi düzenlemesi, hiç görmediği sorunlarda onu 6,6 puan daha doğru yaptı. Ayrıca pratik sorunlarda düzenlemeleri test edip yalnızca işe yarayanları göndererek sürekli geliştiğini; her düzenlemenin bir öncekinden daha iyi olduğunu; sekiz ardışık oturum boyunca doğruluğunun yalnızca yükseldiğini söylüyorlar. Başka bir testte model, hasarlı bir kopyasını onardı. Kopya neredeyse hiçbir şey çözemedi; yine de yeniden eğitim olmadan ve orijinal ağırlıkları okumadan, model onu hiç görmediği görüntü görevlerinde orijinal doğruluğun %80'inden fazlasına geri getirdi.

Ölçek ve gelecekteki etkiler

Bu yetenek ölçekle ortaya çıkıyor gibi görünüyor. Bir model ailesinde daha küçük modeller hiçbir düzenleme yapmadı veya kendilerini bozdu; yalnızca en büyük model gelişti ve kendini onardı. Yazarlar, kendi kendini yeniden yazmanın kazancını her yanıt için ek maliyet olmadan doğrudan ağırlıklara yazdığını, test zamanı ölçeklemesinden farklı olarak; ve eğitimin aksine, tıpkı çıkarım sunumu gibi yalnızca ileri geçişler çalıştırdığını söylüyorlar. Eğitim ile çıkarım arasındaki duvarın mevcut araçların sınırı olduğunu, zekanın bir özelliği olmadığını savunuyorlar ve kendi kendini yeniden yazmanın özyinelemeli kendi kendini geliştirmeye giden gerekli bir adım olduğunu söylüyorlar. Daha büyük bir model, yardımcı araç, istem mühendisliği, ön eğitim veya son eğitim olmadan bir modelin ömrü boyunca kendini yükseltmeye devam edebileceğini öne sürüyorlar.

Kaynaklar: arxiv.org

SiTech

SiTech — AI destekli web geliştirme

Hızlı ve modern web siteleri kuruyor, AI'yı gerçek iş akışlarına taşıyoruz. Projeniz veya sorunuz mu var? Yardımcı olmaktan mutluluk duyarız.