ნიკ კამარატა: ნეირონული ქსელები უკვე გასაგებია და სუპერპოზიციით არ არის დახლართული

ადრეული კვანძები ჩვეულებრივად გამოიყურება

Goodfire-ის ნიკ კამარატა ამტკიცებს, რომ ცნობილი წარმოდგენა ნეირონული ქსელების სუპერპოზიციით დახლართულობის შესახებ ძირითადად მცდარი იყო. მისი თქმით, პრობლემა არ იყო სწავლების მეორე პრინციპი, რომელიც დაუკავშირებელ ცნებებს ერთად კეცავს. საქმე რეკურსიულ განზოგადებაშია: ნეირონი ზრდის დაკავშირებულ განშტოებებს, დაახლოებით ისე, როგორც ტოტი ზრდის ქვეტოტებს.

InceptionV1-ში, რომელსაც ერთ დროს დარგის სანიმუშო ორგანიზმად განიხილავდნენ, სუსტი არქიტექტურისა და სუსტი ინტერპრეტაციის ხელსაწყოების გამო გვიანი ფენები თვითნებურად ჩანდა. ჩვეულებრივი არქიტექტურული გაუმჯობესებების შემდეგ, მოდელის ზომისა და სასწავლო მონაცემების შეცვლის გარეშე, ის იუწყება, რომ ბოლო ფენის ნეირონების 99-დან 100 პროცენტამდე ადვილად ინტერპრეტირებადია, ხოლო 300-ჯერადი ზომის დიაპაზონში გაწვრთნილი ვერსიები ფართოდ კითხვადი დარჩა. როცა ნაკლები ადგილია, ნეირონები უფრო უხეშ ცნებებს ფარავს, როცა მეტი, უფრო დახვეწილებად იყოფიან.

კანონიკური კატისა და მანქანის ნეირონი, 4e:55, უფრო სწორად V ფორმის დეტექტორად იკითხება. ის რეაგირებს წვეტიან შემავალებზე, როგორიცაა ცეცხლი, სახანძრო ნავიდან წყლის ჭავლი, მელასა და კოიოტის სახეები და მარტინის ჭიქები, მრგვალი ობიექტები კი მასზე უარყოფითად მოქმედებს. Zoom In-ის წრედი „მანქანიდან ძაღლებამდე“ ასახავდა მანქანებისა და ძაღლების საერთო პოზას და არა დაუკავშირებელი ნიშან-თვისებების მაღალგანზომილებიან სამალავს. კამარატა ამბობს, რომ მსგავსი ფორმის სხვა გამოქვეყნებული წრედი არ უნახავს.

თანამედროვე მოდელები უფრო სუფთად გამოიყურება

ენის მოდელების ადრინდელი კვლევები ბუნდოვან სურათს იძლეოდა. 2023 წელს Anthropic-ის მუშაობამ პატარა, ერთფენიან მოდელზე მედიანურ ნეირონს 14-პუნქტიან რიბრიკაში 0 მისცა, ხოლო იმავე წლის OpenAI-ს ავტომატური ინტერპრეტაციის პროექტმა ყველაზე ლმობიერი საზომით ნეირონების დაახლოებით 1,7 პროცენტი მიიჩნია ინტერპრეტირებადად. უკეთესი ხელსაწყოებითა და თანამედროვე მოდელებით, Qwen3-32B-ის წინასწარი აუდიტები აფასებენ, რომ ნეირონული პოლუსების დაახლოებით 90 პროცენტს ერთი ძირითადი საქმე აქვს, დაახლოებით 7 პროცენტს ორი დაკავშირებული საქმე, ხოლო მხოლოდ 2-დან 4 პროცენტამდე ჯერ არ არის გაგებული. მკვრივი მოდელები და ექსპერტთა ნარევის მოდელები მსგავსად გამოიყურება, და ავტორის თქმით, შედარებადი შედეგები ჩანს ტრილიონამდე პარამეტრის მქონე მოდელებშიც, მათ შორის Kimi K3-ში.

ის ამ უფსკრულს ჩვეულებრივი პრობლემების თანდათანობით დაგროვებად აღწერს: 2023 წლის განმარტებითი მოდელები ვერ ახერხებდნენ ჰიპოთეზის წამოყენებასა და ტესტირებას კარგად, მეტრიკები აჯილდოებდნენ ისეთ განმარტებებს, რომლებიც აქტივაციებს უბრალოდ იმიტირებდნენ და არა სწორ განმარტებებს, მკვლევარები ხშირად არასწორ ნეირონულ მოტივებს ეძებდნენ, და ბევრი კვლევა პატარა ან გამარტივებულ მოდელებს იყენებდა. როცა გაგება ივსება, თითოეული ნეირონი შემოსაზღვრულია მეზობლებით, ზემოთ მდებარე აგებულებით, ქვემოთ მიმართული მართვის ეფექტებით და, ექსპერტთა ნარევის მოდელებში, თავისი სპეციალისტი ექსპერტით. ცუდი ამბავი მასშტაბია, ამბობს ის, მაგრამ უფრო დიდი მოდელები ასევე სწავლობენ უფრო ვიწრო ნეირონებს და რუკას უფრო მჭიდრო გადაკვეთებს აძლევენ. ესეს მტკიცება არ არის, რომ ენის მოდელები ამოხსნილია, არამედ ის, რომ მათივე მექანიზმებზე სწრაფი ნორმალური მეცნიერება შეიძლება ბევრად უფრო მართვადი იყოს, ვიდრე ვარაუდობენ.

წყაროები: already-clean.goodfire.com