איך מודלי שפה באמת עובדים: סיור בתוך מחסנית הטרנספורמר

ב-1 ביוני פרסם הבלוג 0xkato את «How LLMs Actually Work», סקירה של מה שקורה בתוך מודל שפה גדול. הנחת היסוד: מודלים מודרניים בנויים בעיקר מהנחת שכבות טרנספורמר זו על זו, ולכן הבנת המנגנון הזה מקרבת אותך לרוב הדרך

מטקסט למספרים

מודלים אינם קוראים טקסט אלא מזהים שלמים. הטוקניזציה הופכת את הפרומפט לרצף של מספרים שלמים, שכל אחד מהם מצביע על ערך במילון קבוע בגודל של עשרות אלפים עד כמה מאות אלפי יחידות — בדרך כלל תת-מילים ולא מילים שלמות. לאחר מכן כל מספר מקבל משמעות ממטריצת האמבדינג — טבלת חיפוש עם שורה אחת לכל ערך במילון; במודלים רבים בדרגת 7B טוקן אחד הופך ל-4,096 מספרים, וטוקנים דומים מגיעים לווקטורים דומים. האמבדינג עצמו אינו אומר דבר על המיקום, ולכן המודלים מוסיפים מידע מיקומי — תבניות סינוס וקוסינוס במאמר המקורי מ-2017, וסכמות סיבוביות כמו RoPE ברוב המודלים המודרניים.

קשב ורשת הזנה קדמית

הקשב הוא המנגנון שבו טוקנים מחליפים מידע: כל טוקן מייצר query, key ו-value, השאילתות מותאמות למפתחות במכפלה סקלרית ממודרגת, softmax הופך את הציונים למשקלים שסכומם אחד, והערכים ממוצעים לפיהם. מכיוון שמודלים בסגנון GPT מייצרים משמאל לימין, מסכה סיבתית מונעת ממיקום להביט בטוקנים שטרם נוצרו. קשב רב-ראשי מריץ פעולות רבות כאלה במקביל, והראשים מתמחים בלי שנאמר להם — חוקרים מצאו ראשים שעוקבים אחרי דקדוק או מפענחים כינויי גוף. בשכבה אחת יכולים להיות 32 ראשים, ומודלים מודרניים משתמשים בעיקר ב-Grouped-Query Attention, שבו קבוצות ראשים חולקות מפתחות וערכים, כדי להקטין את לחץ הזיכרון. אחרי הקשב עובר כל טוקן ברשת הזנה קדמית שמעבדת אותו לבדו; במודל צפוף מרבית הפרמטרים יושבים שם, וכמה מודלים חזיתיים מחליפים את הבלוק הזה ב-Mixture of Experts — למשל ב-Mixtral 8x7B יש שמונה מומחים בכל שכבה, אבל רק שניים פועלים עבור כל טוקן.

לולאת החיזוי ומה שבאמת שונה

הגנרציה לוקחת את הווקטור הסופי של הטוקן האחרון, הופכת אותו לציון אחד לכל ערך במילון — לוגיט — וממירה אותם להסתברויות ב-softmax. טמפרטורה, top-k ו-top-p קובעים עד כמה הפלט דטרמיניסטי, וכל טוקן שנבחר מתווסף לקלט כך שהלולאה רצה שוב, בדרך כלל עם שימוש חוזר ב-KV cache במקום חישוב מחדש של כל הקידומת. המודל הבסיסי מאומן רק על חיזוי הטוקן הבא; מילוי הוראות, העדפות ובטיחות מגיעים מהאימון המשלים. מה שמבדיל בין GPT, Claude, Gemini ו-LLaMA אינו התכנון הכללי — לפי הפוסט כולם נמצאים באותו מרחב משפחת טרנספורמר — אלא המשקלים המאומנים, הקונפיגורציה והאימון המשלים. מאז 2023 התכנסה המחסנית לבחירות משותפות: מיקום pre-norm, RMSNorm, RoPE, SwiGLU, Grouped-Query Attention ו-Mixture of Experts.