Нік Камарата: нейронні мережі вже зрозумілі та не заплутані суперпозицією

Ранні вузли виглядають звично

Нік Камарата з Goodfire стверджує, що поширене уявлення про нейронні мережі як заплутані суперпозицією переважно хибне. За його словами, проблема була не в другому принципі навчання, який згортає не пов’язані поняття разом. Справа в рекурсивній генералізації: нейрон нарощує пов’язані гілки, приблизно так, як гілка нарощує підгілки.

В InceptionV1, який колись вважали модельним організмом галузі, пізні шари виглядали довільними через слабку архітектуру й слабкі інструменти інтерпретації. Після звичайних архітектурних удосконалень, без зміни розміру моделі й навчальних даних, він повідомляє, що від 99 до 100 відсотків нейронів останнього шару легко інтерпретуються, а версії, навчені в діапазоні розмірів у 300 разів, залишилися широко читабельними. За меншого простору нейрони охоплюють грубіші поняття, а за більшого — розбиваються на тонші.

Канонічний нейрон кішки й машини, 4e:55, точніше читається як V-подібний детектор. Він реагує на гострі вхідні сигнали, як-от вогонь, водяний струмінь із пожежного човна, обличчя лисиці й койота та келихи для мартіні, а круглі об’єкти діють на нього негативно. Ланцюг Zoom In «від машини до собак» відображав спільну позу машин і собак, а не високовимірне сховище непов’язаних ознак. Камарата каже, що подібної форми іншого опублікованого ланцюга не бачив.

Сучасні моделі виглядають значно чистіше

Ранні дослідження мовних моделей давали розмиту картину. У 2023 році робота Anthropic на малій одношаровій моделі отримала для медіанного нейрона 0 за 14-бальною рубрикою, а проект автоматичної інтерпретації OpenAI того ж року визнав інтерпретованими приблизно 1,7 відсотка нейронів за найм’якішою метрикою. З кращими інструментами й сучасними моделями попередні аудити Qwen3-32B оцінюють, що приблизно 90 відсотків нейронних полюсів мають одне основне завдання, близько 7 відсотків — дві пов’язані ролі, а лише від 2 до 4 відсотків ще не зрозумілі. Щільні моделі й моделі з сумішшю експертів виглядають подібно, і, за словами автора, порівнянні результати видно й у моделях з трильйоном параметрів, зокрема в Kimi K3.

Він описує цю прірву як накопичення звичайних проблем: моделі інтерпретації 2023 року погано вміли робити припущення й тестувати їх, метрики винагороджували тлумачення, які симулювали активації, а не правильні тлумачення, дослідники часто шукали неправильні нейронні мотиви, і багато досліджень використовувало малі або спрощені моделі. Коли розуміння наповнюється, кожен нейрон обмежується сусідами, вищою структурою, ефектами керування, спрямованими вниз, а в моделях з сумішшю експертів — власним експертом-спеціалістом. Погана новина — масштаб, каже він, але більші моделі також навчаються вужчих нейронів і дають карті щільніші перетини. Теза есе не в тому, що мовні моделі розв’язані, а в тому, що звичайна наука про їхні власні механізми може бути значно легше піддаватися розв’язанню, ніж очікують.

Джерела: already-clean.goodfire.com