نيك كاماراتا: الشبكات العصبية مفهومة بالفعل وليست متداخلة عبر التراكب

العقد المبكرة تبدو بشكل تقليدي

يؤكد نيك كاماراتا من Goodfire أن التمثيل الشهير لتشابك الشبكات العصبية عبر التراكب كان خاطئًا بشكل أساسي. وفقًا له، لم تكن المشكلة مبدأ التعلم الثاني الذي يربط المفاهيم غير المترابطة معًا. الأمر يتعلق بالتعميم التكراري: العصبون ينمو انقسامات مترابطة، تقريبًا كما ينمو الجذع الأغصان الفرعية.

في InceptionV1، الذي كان يُنظر إليه ذات مرة ككائن نموذجي لمهمة التحقيق، بسبب ضعف البنية وضعف أدوات التفسير، الطبقات المتأخرة كانت غامضة ذاتيًا. بعد تحسينات معمارية تقليدية، دون تغيير حجم النموذج أو بيانات التدريب، يتضح أن 99 إلى 100 بالمائة من عصبونات الطبقة الأخيرة قابلة للتفسير بسهولة، بينما الإصدارات المُدرّبة في نطاق حجم 300 مرة ظلت قابلة للقراءة على نطاق واسع. في حيز أقل، تغطي العصبونات مفاهيم أكثر خشونة، وفي حيز أكبر تنقسم إلى مفاهيم أكثر دقة.

عصبون القطة والسيارة النموذجي، 4e:55، يُقرأ بشكل أدق ككاشف لشكل V. يستجيب للمدخلات المنقطة مثل النار، وسكب الماء من شاحنة الإطفاء، ووجوه الثعلب والكويوت، وأكواب المارتيني، بينما تؤثر عليه الأجسام المستديرة سلبًا. دائرة Zoom In "من السيارات إلى الكلاب" عكست الوضع المشترك للسيارات والكلاب وليس التغطية متعددة الأبعاد للسمات-العلامات غير المترابطة. يقول كاماراتا إنه لم يرَ دائرة منشورة أخرى من شكل مشابه.

النماذج المعاصرة تبدو أنظف

أعطت الدراسات المبكرة لنماذج اللغة صورة مشوشة. في عام 2023، منح عمل Anthropic نموذجًا صغيرًا أحادي الطبقة درجة 0 على عصبون متوسط في مقياس من 14 نقطة، بينما اعتبر مشروع التفسير الآلي من OpenAI في نفس العام حوالي 1,7 بالمائة فقط من العصبونات الأكثر حساسية قابلة للتفسير. بأدوات أفضل ونماذج معاصرة، تقدر عمليات التدقيق الأولية لـ Qwen3-32B أن حوالي 90 بالمائة من الأقطاب العصبية لها وظيفة أساسية واحدة، وحوالي 7 بالمائة لها وظيفتان مترابطتان، بينما ما بين 2 إلى 4 بالمائة فقط لا تزال غير مفهومة. النماذج الكثيفة ونماذج مزيج الخبراء تبدو بشكل مشابه، ووفقًا للمؤلف، تظهر نتائج قابلة للمقارنة حتى في النماذج ذات التريليونات من المعاملات، بما في ذلك Kimi K3.

يصف هذا المأزق بأنه تراكم للمشكلات التقليدية: نماذج التفسير لعام 2023 كانت تفشل في الفرضية والاختبار بشكل جيد، وكانت المقاييس تكافئ التفسيرات التي تحاكي التنشيطات بدلاً من التفسيرات الصحيحة، وكان الباحثون غالبًا يبحثون عن دوافع عصبية خاطئة، واستخدمت العديد من الدراسات نماذج صغيرة أو مبسطة. عندما يكتمل الفهم، يُحاط كل عصبون بالجيران، والبنى العليا، وتأثيرات التحكم المتجهة للأسفل، وفي نماذج مزيج الخبراء، بخبير متخصص خاص به. يقول إنها مسألة حجم، لكن النماذج الأكبر تتعلم أيضًا عصبونات أضيق وتمنح الخريطة تقاطعات أكثر كثافة. هذا المقال لا يؤكد أن نماذج اللغة قد تم فك شفرتها، بل إن العلم العادي السريع بآلياتها الخاصة قد يكون أكثر قابلية للحل بكثير مما يُفترض.

المصادر: already-clean.goodfire.com