הקורס CS336 של סטנפורד: לבנות מודל שפה מאפס

סטנפורד פרסמה את חומרי הקורס CS336, קורס אביב 2026 בשם "Language Modeling from Scratch", שמוביל סטודנטים דרך כל תהליך בניית מודל שפה במקום שימוש במודל קיים. את הקורס מלמדים פרסי ליאנג וטאצו השימוטו; ההרצאות מתקיימות בימי שני ורביעי בשעות 15:00–16:20 באודיטוריום Skilling, וההקלטות זמינות בפלייליסט ציבורי ביוטיוב.

מה כולל הקורס

הקורס שואב השראה מקורסים במערכות הפעלה שבהם הסטודנטים בונים מערכת שלמה מאפס. כאן התהליך כולל איסוף וניקוי נתונים לאימון מקדים, בניית טרנספורמר, אימון המודל והערכה לפני פריסה. לדברי המרצים, המטרה היא הבנה עמוקה של מודלי שפה בעידן שבו מערכת כללית אחת אמורה להתמודד עם מגוון רחב של משימות.

דרישות מוקדמות ועומס העבודה

CS336 הוא קורס בן חמש נקודות זיכוי עם דגש כבד על מימוש ומינימום קוד תבנית: לסטודנטים נאמר שעליהם לכתוב לפחות סדר גודל יותר קוד מאשר בקורסים אחרים בתחום הבינה המלאכותית. הדרישות המוקדמות הן שליטה בפייתון ובהנדסת תוכנה, ניסיון בלמידה עמוקה ובאופטימיזציה של מערכות (PyTorch, היררכיית הזיכרון), חשבון אינפיניטסימלי ואלגברה לינארית ברמת תואר ראשון, הסתברות וסטטיסטיקה בסיסיות וקורס מבוא בלמידת מכונה. חלק ניכר מהעבודה מוקדש להרצת מודלי שפה מהירה ויעילה על GPU במספר מכונות.

חמש מטלות, מודל אחד

המטלה הראשונה עוסקת ביסודות: טוקנייזר, ארכיטקטורת המודל ואופטימייזר, ואחר כך אימון מודל שפה מינימלי. המטלה השנייה עוברת למערכות — פרופיילינג ובנצ'מרק, מימוש עצמאי של FlashAttention2 ב-Triton וקוד אימון מבוזר וחסכוני בזיכרון. המטלה השלישית עוסקת בהרחבה: מה עושה כל רכיב בטרנספורמר וכיצד להתאים חוק סקיילינג דרך API אימון. המטלה הרביעית ממירה קבצי Common Crawl גולמיים לנתוני אימון מקדים שמישים, עם סינון והסרת כפילויות. המטלה החמישית מיישמת כיוונון מונחה ולמידת חיזוק כדי שמודלים ינמקו בפתרון בעיות מתמטיות, עם חלק שני אופציונלי על שיטות יישור בטיחותיות כמו DPO.

מחשוב, קוד כבוד ולוח זמנים

ללומדים עצמאיים הקורס מפרט אפשרויות GPU בענן עבור כרטיס B200 בודד, עם מחירים פומביים שנרשמו ב-28 במרץ 2026: Modal ב-6.25 דולר לשעה עם 30 דולר מחשוב חינם בחודש, RunPod ב-4.99, Nebius ב-5.50 (או 3.05 במצב preemptible), Lambda Labs ב-6.69 ו-Together ב-7.49 במינימום שמונה כרטיסים. קוד הכבוד מתיר קבוצות לימוד ומאפשר שימוש ב-LLM לשאלות תכנות ברמה נמוכה או לשאלות מושגיות, אך אוסר להשתמש בו כדי לפתור מטלות, ומעודד להשבית השלמה אוטומטית מבוססת AI. לוח הזמנים כולל 19 הרצאות מ-30 במרץ עד 3 ביוני, ובסופו הרצאות אורח של דניאל סלסם ודן פו.