Як насправді працюють LLM: подорож стеком трансформера

1 червня блог 0xkato опублікував «How LLMs Actually Work» — огляд того, що відбувається всередині великої мовної моделі. Вихідна теза: сучасні LLM здебільшого будуються з багаторазово накладених блоків трансформера, тож розуміння цього механізму просуває майже до кінця

Від тексту до чисел

Моделі читають не текст, а цілочисельні ідентифікатори. Токенізація перетворює запит на послідовність цілих чисел, кожне з яких указує на елемент фіксованого словника обсягом від десятків тисяч до кількох сотень тисяч одиниць — зазвичай це підслова, а не цілі слова. Далі кожне число отримує зміст із матриці ембедінгів — таблиці пошуку з одним рядком на кожен елемент словника; у багатьох моделях класу 7B токен перетворюється на 4096 чисел, а схожі токени опиняються поруч у просторі. Сам ембедінг нічого не каже про позицію, тому моделі додають позиційну інформацію — синусоїдні й косинусоїдні шаблони в оригінальній статті 2017 року та обертальні схеми на кшталт RoPE у більшості сучасних.

Увага та мережа прямого поширення

Увага — це механізм, яким токени обмінюються інформацією: кожен токен створює query, key і value, запити зіставляються з ключами через масштабований скалярний добуток, softmax перетворює оцінки на ваги із сумою одиниця, а значення усереднюються за цими вагами. Оскільки GPT-подібні моделі генерують зліва направо, причинна маска забороняє позиції дивитися на ще не згенеровані токени. Багатоголова увага виконує багато таких операцій одночасно, і голови спеціалізуються без вказівок — дослідники знаходили голови, що відстежують грамматику або розв'язують займенники. В одному шарі може бути 32 голови, а сучасні декодерні моделі здебільшого використовують Grouped-Query Attention, де групи голів спільно використовують ключі та значення, щоб зменшити тиск на пам'ять. Після уваги кожен токен проходить через мережу прямого поширення, яка обробляє його окремо; у щільному трансформері саме тут зосереджена більшість параметрів, а деякі фронтирні моделі замінюють цей блок на Mixture of Experts — наприклад, у Mixtral 8x7B на кожен шар припадає вісім експертів, але для кожного токена працюють лише два.

Цикл передбачення і що насправді різниться

Генерація бере фінальний вектор останнього токена, перетворює його на одну оцінку для кожного елемента словника — логит — і через softmax робить із них імовірності. Температура, top-k і top-p визначають, наскільки детермінованим буде вихід, а кожен обраний токен додається до входу, і цикл повторюється, зазвичай із повторним використанням KV-кешу, щоб не перераховувати весь префікс. Базова модель навчається лише передбаченню наступного токена; виконання інструкцій, уподобання та безпека з'являються після донавчання. GPT, Claude, Gemini і LLaMA різняться не загальною схемою — за твердженням автора, усі вони лежать у межах родини трансформерів — а навченими вагами, конфігурацією та донавчанням. Від 2023 року стек зійшовся на спільному наборі рішень: розміщення pre-norm, RMSNorm, RoPE, SwiGLU, Grouped-Query Attention і Mixture of Experts.