Стенфордський курс CS336 вчить створювати мовну модель з нуля

Стенфорд опублікував матеріали курсу CS336 — весняного курсу 2026 року під назвою «Language Modeling from Scratch», який веде студентів через повний процес створення мовної моделі, а не використання готової. Викладають Персі Лян і Тацу Хашімото; лекції відбуваються в понеділок і середу з 15:00 до 16:20 в аудиторії Skilling, а записи викладені у відкритому плейлисті YouTube.

Що охоплює курс

Курс натхненний лекціями з операційних систем, де студенти будують цілу ОС з нуля. Тут процес охоплює збір і очищення даних для попереднього навчання, побудову трансформера, навчання моделі та оцінювання перед розгортанням. За словами викладачів, мета — глибоке розуміння мовних моделей у час, коли одна система загального призначення має розв'язувати широке коло задач.

Вимоги та навантаження

CS336 — це п'ятикредитний курс із наголосом на практиці та навмисно мінімальним каркасом коду: студентам кажуть, що їм доведеться написати щонайменше на порядок більше коду, ніж в інших курсах зі штучного інтелекту. Серед вимог — впевнене володіння Python і навички програмної інженерії, досвід глибокого навчання та системної оптимізації (PyTorch, ієрархія пам'яті), університетські курси аналізу й лінійної алгебри, основи теорії ймовірностей і статистики та вступний курс машинного навчання. Значна частина роботи присвячена швидкій та ефективній роботі нейронних мовних моделей на GPU кількох машин.

П'ять завдань — одна модель

Перше завдання охоплює основи: токенізатор, архітектуру моделі та оптимізатор, а потім навчання мінімальної мовної моделі. Друге переходить до систем: профілювання й бенчмаркінг, власна реалізація FlashAttention2 на Triton і пам'ять-ефективний розподілений код навчання. Третє завдання стосується масштабування: що робить кожен компонент трансформера і як підігнати scaling law через навчальний API. Четверте перетворює сирі дампи Common Crawl на придатні дані для попереднього навчання з фільтрацією та дедуплікацією. П'яте застосовує кероване донавчання та навчання з підкріпленням, щоб моделі міркували під час розв'язування математичних задач; є необов'язкова друга частина про методи безпечного вирівнювання, зокрема DPO.

Обчислення, кодекс честі та розклад

Для самостійного навчання курс перелічує хмарні GPU для одного B200 з публічними цінами станом на 28 березня 2026 року: Modal — 6,25 долара за годину плюс 30 доларів безкоштовних обчислень щомісяця, RunPod — 4,99, Nebius — 5,50 (або 3,05 у режимі preemptible), Lambda Labs — 6,69 і Together — 7,49 за мінімум восьми GPU. Кодекс честі дозволяє навчальні групи й запити до LLM щодо низькорівневого програмування чи концептуальних питань, але забороняє використовувати їх для розв'язання завдань і радить вимкнути AI-автодоповнення. Розклад із 19 лекцій триває з 30 березня до 3 червня й завершується гостьовими лекціями Деніела Селсама та Дена Фу.