Nik Kamarata: Neyron şəbəkələri artıq başa düşülə bilir, superpozisiya ilə bağlı deyil

Erken düyünlər adətən belə görünür

Goodfire-dan Nik Kamarata iddia edir ki, neyron şəbəkələrinin superpozisiya ilə bağlı tanıtma əsasən səhv idi. Onun fikrincə, problem bağlı olmayan anlayışları birəydə birləşdirən ikinci öyrənmə prinsipi deyil. Məsələ rekursiv ümümləşdirmədədir: neyron bir-birinə bağlı bölmələri böyüdür, təxminən sətirin alt-sətirlərini böyüdürməsi kimi.

InceptionV1-də, bir vaxt tədqiqat üçün nümunə organizimi kimi qiymətləndirilən, zəif memarlığın və zəif şərh alətlərinin təsiri ilə son təbəqələr avtomatik olaraq ortaya çıxırdı. Adi memarlıq təkmilləşdirmələrindən sonra, modelin ölçüsünü və təlim məlumatlarını dəyişmədən, o göstərir ki, son təbəqənin neyronlarının 99-dan 100 faizə qədər asan şərh edilə bilir, 300 qat ölçüsündə isə öyrədilmiş versiyalar geniş oxunaq qalır. Az yerdə neyronlar daha kobud anlayışları əhatə edir, çox yerdə isə daha incələnmiş şəkildə ayrılır.

Kanonik pişiyin və maşının neyronu, 4e:55, daha düzgün V formasının detektoru kimi qiymətləndirilir. O, ötürülən obyektə reaksiya verir — yanğın, yanğın gəmisindən su atılması, küstə və koyot üzləri və martini şüşələri — dairəvi obyektlər isə ona mənfi təsir edir. Zoom In dairəsi "maşından itlərə" maşınların və itlərin ümumi pozasını əks etdirir, əlaqəsiz nişan-xüsusiyyətlərin yüksək ölçülü gizlənməsini yox. Kamarata bildirir ki, oxşar formalı başqa dairələr yayımlanıb.

Müasir modellər daha təmiz görünür

Dil modellərinin erken tədqiqatları qarışıq şəkil verirdi. 2023-cü ildə Anthropic-in işi kiçik, tək təbəqəli modeldə median neyronu 14 ballıq meyarda 0 bal verdi, eyni ilin OpenAI-nin avtomatik şərh layihəsi isə ən həssas ölçülü neyronların təxminən 1,7 faizini şərh edilə bilən hesab etdi. Daha yaxşı alətlər və müasir modellərlə, Qwen3-32B-nin ilkin auditi qiymətləndirir ki, neyron pluslarının təxminən 90 faizində bir əsas iş var, təxminən 7 faizində iki əlaqəli iş var, yalnız 2-dən 4 faizə qədər hələ başa düşülmayıb. Çətin modellər və ekspertlərin qarışığı modellər eyni şəkildə görünür və müəllifin sözləsinə görə, trilyon parametrə qədər olan modellərdə də oxşar nəticələr var, bunlara Kimi K3 daxildir.

O, bu boşluğu adi problemlərin yığılması kimi təsvir edir: 2023-cü ildə modellər təxminləri və testləri yaxşı edə bilmirdi, göstəricilər aktivasiyaları simulyasiya edən, düzgün açıqlamaları yox tədqiqatçılar çox vaxt səhv neyron motivlərinə baxırdı və bir çox tədqiqat kiçik və ya sadələşdirilmiş modellərdən istifadə edirdi. Başa düşükdə hər neyron qonşuları ilə, yuxarıdakı quruluşlar ilə, aşağıdakı idarəetmə effektləri ilə və ekspertlərin qarışığı modellərdə öz ekspertləri ilə məhdudlaşır. Pis xəbər miqyasıdır, o deyir ki, daha böyük modellər həmçinin daha dar neyronları öyrənir və cərgədə daha sıx kəsişmələr verir. Bu, dil modellərinin həll edilməsini təsdiq etmir, lakin onların mexanizmlərində sürətli normal elm çox daha asan həll oluna bilər, təxminlərdən daha çox.

Mənbələr: already-clean.goodfire.com