ניק קמאראטה: רשתות נוירונים כבר מובנות ואינן מסובכות על ידי סופרפוזיציה

נוירונים מוקדמים נראים רגילים

ניק קמאראטה מ-Goodfire טוען שהתפיסה המוכרת שלפיה רשתות נוירונים מסובכות בגלל סופרפוזיציה הייתה ברובה שגויה. לדבריו, הבעיה לא הייתה עקרון הלמידה השני, שמקפל יחד מושגים לא קשורים. העניין הוא בהכללה רקורסיבית: הנוירון מגדיל ענפים קשורים, בערך כפי שענף מגדיל תת-ענפים.

ב-InceptionV1, שנחשב פעם לאורגניזם מודל של התחום, שכבות מאוחרות נראו שרירותיות בגלל ארכיטקטורה חלשה וכלי פרשנות חלשים. לאחר שיפורים ארכיטקטוניים רגילים, בלי לשנות את גודל המודל או את נתוני האימון, הוא מדווח ש-99 עד 100 אחוז מהנוירונים בשכבה האחרונה ניתנים לפרשנות בקלות, בעוד גרסאות שאומנו בטווח גדלים של פי 300 נותרו קריאות במידה רבה. כשפחות מקום, הנוירונים מכסים מושגים גסים יותר, וכשיותר מקום, הם מתחלקים לעדינים יותר.

הנוירון הקנוני של חתול ומכונית, 4e:55, נקרא בצורה מדויקת יותר כדטקטור בצורת V. הוא מגיב לקלטים מחודדים, כמו אש, סילון מים מסירת כיבוי, פרצופים של שועל וקויוט וכוסות מרטיני, בעוד עצמים עגולים משפיעים עליו בשלילה. המעגל של Zoom In „ממכוניות לכלבים“ שיקף את התנוחה המשותפת של מכוניות וכלבים, ולא מחבוא רב-ממדי של תכונות לא קשורות. קמאראטה אומר שלא ראה מעגל אחר שפורסם בעל צורה דומה.

מודלים מודרניים נראים נקיים יותר

מחקרים מוקדמים של מודלי שפה הציגו תמונה מעורפלת. ב-2023, עבודתה של Anthropic על מודל קטן בעל שכבה אחת נתנה לנוירון החציוני 0 מתוך רובריקה של 14 נקודות, בעוד באותה שנה פרויקט הפרשנות האוטומטית של OpenAI ראה כ-1.7 אחוז מהנוירונים כניתנים לפרשנות לפי המדד הסלחני ביותר. עם כלים טובים יותר ומודלים מודרניים, ביקורות מקדימות של Qwen3-32B מעריכות שלכ-90 אחוז מ'קטבי הנוירונים' יש תפקיד עיקרי אחד, לכ-7 אחוז יש שני תפקידים קשורים, ורק 2 עד 4 אחוז עדיין לא מובנים. מודלים צפופים ומודלים של תערובת מומחים נראים דומה, ולפי המחבר, תוצאות דומות נראות במודלים עם עד טריליון פרמטרים, כולל Kimi K3.

הוא מתאר את הפער הזה כהצטברות של בעיות רגילות: מודלים הסברתיים מ-2023 לא הצליחו להסיק ולבדוק היטב, מדדים תגמלו הסברים שדימו אקטיבציות ולא הסברים נכונים, חוקרים חיפשו לעתים קרובות מוטיבים נוירוניים שגויים, ומחקרים רבים השתמשו במודלים קטנים או מפושטים. כשההבנה מתמלאת, כל נוירון תחום על ידי שכנים, על ידי מבנה במעלה הזרם, על ידי אפקטי בקרה במורד הזרם, ובמודלים של תערובת מומחים, על ידי המומחה המתמחה שלו. החדשות הרעות הן קנה המידה, הוא אומר, אבל מודלים גדולים יותר גם לומדים נוירונים צרים יותר ונותנים למפה מפגשים הדוקים יותר. הטענה של המאמר אינה שמודלי שפה פתורים, אלא שמדע נורמלי מהיר על המנגנונים שלהם עשוי להיות הרבה יותר פתיר ממה שמניחים.

מקורות: already-clean.goodfire.com