Nick Camarata: Sinir Ağları Zaten Anlaşılabilir ve Süperpozisyon ile Anlatılmamış

Erken Düğümler Normal Görünüyor

Goodfire'dan Nick Camarata, sinir ağlarının süperpozisyonla anlatılmasına dair bilinen temel görüşün temelden yanlış olduğunu ileri sürüyor. Ona göre sorun, birbirine bağlanamayan kavramları birleştiren ikinci öğrenme ilkesi değildi. Mesele özyineleyici genellemede: nöron, alt kümelerin alt kümelenme gibi bağlı alt kümeler büyütür.

InceptionV1'de, bir zamanlar dergi model organizma olarak değerlendirilen, zayıf mimari ve zayıf yorumlama araçları nedeniyle son katmanlarda kendiliğinden görünüyordu. Normal mimari iyileştirmelerin ardından, modelin boyutunu ve eğitim verilerini değiştirmeden, son katmanın nöronlarının 99'dan 100 yüzde arası kolayca yorumlanabilir olduğunu ve 300 kat büyüklükteki eğitilmiş sürümlerin geniş ölçüde okunabilir kaldığını gösteriyor. Az yerde nöronlar daha kaba kavramları kaplar, daha fazla yerde ise daha ince ayrıntılara ayrılırlar.

Klasik kedi ve araba nöronu, 4e:55, daha doğru şekilde V formlu dedektör olarak okunur. Şu gelen nesnelere tepki verir: ateş, yangın musluğundan su püskürtmesi, kurt ve küse yüzleri ve martini bardakları; yuvarlak nesneler ise ona olumsuz tepki verir. Zoom In'in 'arabadan köpeğe' dairesi, arabalar ve köpeklerin ortak pozunu, ilgisiz işaret ve özelliklerin yüksek boyutlu perdesini yansıtıyordu. Camarata, benzer şekilde başka bir yayınlanmış daire olmadığını söylüyor.

Modern Modeller Daha Temiz Görünüyor

Dil modellerinin erken araştırmaları karmaşık bir tablo sunuyordu. 2023'te Anthropic'in çalışması, küçük tek katmanlı bir modelde median nöronu 14 puanlık bir değerlendirmede 0 puan verdi; aynı yıl OpenAI'nin otomatik yorumlama projesi, nöronların en hassas ölçüle göre yaklaşık 1,7 yüzdesini yorumlanabilir olarak değerlendirdi. Daha iyi araçlar ve modern modellerle, Qwen3-32B'nin ön denetimleri, nöronların yaklaşık 90 yüzdesinin bir temel işi, yaklaşık 7 yüzdesinin iki bağlantılı işi ve sadece 2 ila 4 yüzde arasının hala anlaşılmadığını değerlendiriyor. Katı modeller ve uzman karışımı modeller benzer şekilde görünüyor ve yazarın göre, trilyona kadar parametreye sahip modellerde de karşılaştırılabilir sonuçlar görülüyor, bunlar arasında Kimi K3 var.

Bu gelişmeyi normal problemlerin toplanması olarak tanımlar: 2023'teki yorumlanabilirlik çalışmaları hipotezleri iyi test edemedi, metrikler aktivasyonları simüle eden tanımları ödüllendirdi doğru tanımları değil, araştırmacılar sık sık yanlış nöron motifleri aradı ve birçok araştırma küçük veya basitleştirilmiş modeller kullandı. Anlama tamamlandığında, her nöron komşuları, üstün yapılar, aşağı yönlü kontrol etkileri ve uzman karışımı modellerinde kendi uzmanıyla sınırlıdır. Kötü haber ölçeklendirmesi, söylüyor; ama daha büyük modeller aynı zamanda daha ince nöronlar ve daha sınırlı geçişler öğrenir. Bu makale, dil modellerinin çözüldüğünü değil, kendi mekanizmaları hakkında hızlı normal bilimin çok daha fazla çözülebileceğini öne sürüyor.

Kaynaklar: already-clean.goodfire.com