Назад

Відкрита 27B-модель переписує власні ваги без навчання, йдеться у препринті
SiTech AI Team2 хв читання

Відкрита 27B-модель переписує власні ваги без навчання, йдеться у препринті

Новий препринт arXiv каже, що відкрита мовна модель 27B може діагностувати власні помилки й переписувати ваги через міркування, покращуючись на небачених задачах без градієнтів і навчання.

Препринт, опублікований на arXiv 16 листопада 2026 року, описує самопереписування, метод, у якому мовна модель використовує власне міркування для зміни ваг без градієнтів і навчання. Автори повідомляють, що відкрита модель 27B покращилася на 6,6 бала на небачених задачах після переписування власних ваг, і що вона могла відремонтувати пошкоджену копію себе. Вони кажуть, що здатність з'явилася лише в найбільшій моделі в одному сімействі.

Самопереписування без навчання

У статті сказано, що мовну модель зазвичай навчають один раз, а потім заморожують. Щоб її покращити, розробники зазвичай запускають додаткове навчання, додають підказки або каркаси, або витрачають додаткові обчислення під час виведення, що завершується завданням. Автори пропонують самопереписування як третій варіант: модель діє як власний оптимізатор і переписує ваги через міркування. Вони протиставляють це ранішій роботі, у якій передова модель редагувала набагато меншу модель. У цьому дослідженні відкритій моделі 27B дали її ваги, оцінені відповіді та можливість запускати себе, а потім вона діагностувала власні помилки й переписала ваги, що стояли за ними.

Перевірка редагувань і ремонт пошкоджень

Автори повідомляють, що модель перевершила саму себе: власне редагування зробило її на 6,6 бала точнішою на задачах, яких вона ніколи не бачила. Вони також кажуть, що вона продовжує покращуватися, перевіряючи редагування на практичних задачах і надсилаючи лише ті, що працюють, причому кожне редагування покращує попереднє; за вісім поспіль сеансів її точність лише зросла. В іншому тесті модель відремонтувала пошкоджену копію себе. Копія розв'язувала майже нічого, але без перенавчання і без читання оригінальних ваг модель повернула її до понад 80 відсотків початкової точності на задачах із зображеннями, яких вона ніколи не бачила.

Масштаб і майбутні наслідки

Здатність, схоже, з'являється з масштабом. В одному сімействі моделей менші моделі не зробили жодного редагування або зламали себе, тоді як лише найбільша покращилася і відремонтувала себе. Автори кажуть, що самопереписування записує свій приріст у ваги без вартості на кожну відповідь, на відміну від масштабування під час тестування, і виконує лише прямі проходи, як сервінг моделі, на відміну від навчання. Вони стверджують, що стіна між навчанням і виведенням є обмеженням сучасних інструментів, а не властивістю інтелекту, і що самопереписування є необхідним кроком до рекурсивного самовдосконалення. Вони припускають, що модель могла б безперервно оновлювати себе все життя без більшої моделі, каркаса чи інженерії підказок, а також без попереднього або подальшого навчання.

Джерела: arxiv.org

Поділитися цифровим досвідом

SiTech

SiTech — веброзробка з підтримкою AI

Створюємо швидкі та сучасні сайти й інтегруємо AI у бізнес-процеси. Маєте проєкт чи запитання? Із задоволенням допоможемо.