Stanford-ın CS336 kursu dil modelini sıfırdan qurmağı öyrədir

Stanford 2026-cı il yaz semestrində keçirilən "Language Modeling from Scratch" adlı CS336 kursunun materiallarını dərc edib. Kurs tələbələri hazır modeldən istifadə etmək əvəzinə dil modelinin qurulması prosesinin bütün mərhələlərindən keçirir. Dərsi Persi Lianq və Tatsuo Haşimoto tədris edir; mühazirələr bazar ertəsi və çərşənbə günləri saat 15:00–16:20 arası Skilling Auditorium-da keçirilir, yazılar isə açıq YouTube pleylistində yerləşdirilir.

Kursun əhatə dairəsi

Kurs tələbələrin sıfırdan bütöv əməliyyat sistemi qurduğu əməliyyat sistemləri dərslərindən ilhamlanır. Burada proses ilkin təlim üçün məlumatların toplanması və təmizlənməsindən transformerin qurulmasına, modelin təlimindən yerləşdirmədən əvvəl qiymətləndirilməsinə qədər uzanır. Müəllimlərin sözlərinə görə, məqsəd tək bir ümumi təyinatlı sistemin geniş spektrli tapşırıqları yerinə yetirməsinin gözlənildiyi dövrdə dil modellərini dərindən anlamaqdır.

İlkin tələblər və iş yükü

CS336 beş kreditlik, tətbiqə ağırlıq verən kursdur və karkas kod qəsdən minimal saxlanılır: tələbələrə digər süni intellekt kursları ilə müqayisədə ən azı bir dərəcə çox kod yazacaqları bildirilir. İlkin tələblərə Python və proqram mühəndisliyi biliyi, dərin öyrənmə və sistem optimallaşdırması təcrübəsi (PyTorch, yaddaş iyerarxiyası), universitet səviyyəsində analiz və xətti cəbr, ehtimal və statistikanın əsasları və maşın öyrənməsinə giriş kursu daxildir. İşin mühüm hissəsi neyron dil modellərinin bir neçə maşının GPU-larında sürətli və səmərəli işləməsinə həsr olunub.

Beş tapşırıq, bir model

Birinci tapşırıq əsasları əhatə edir: tokenizator, model arxitekturası və optimizator, sonra minimal dil modelinin təlimi. İkinci tapşırıq sistemlərə keçir: profilləşdirmə və benchmarcing, FlashAttention2-nin öz Triton tətbiqi və yaddaşa qənaət edən paylanmış təlim kodu. Üçüncü tapşırıq miqyaslamaya aiddir: transformerin hər komponentinin nə etdiyi və təlim API-si vasitəsilə scaling law-ın uyğunlaşdırılması. Dördüncü tapşırıq xam Common Crawl fayllarını filtrləmə və təkrarların silinməsi yolu ilə yararlı ilkin təlim məlumatlarına çevirir. Beşinci tapşırıq modellərin riyazi məsələləri düşünərək həll etməsi üçün nəzarətli incə tənzimləmə və gücləndirməli öyrənmə tətbiq edir; DPO kimi təhlükəsizlik uyğunlaşdırma metodlarına dair isteğe bağlı ikinci hissə də var.

Hesablama, şərəf kodeksi və cədvəl

Müstəqil öyrənənlər üçün kurs tək B200 GPU üzrə bulud variantlarını 28 mart 2026-cı il tarixli açıq qiymətlərlə sadalayır: Modal saatda 6.25 dollar və ayda 30 dollar pulsuz hesablama, RunPod 4.99, Nebius 5.50 (preemptible rejimində 3.05), Lambda Labs 6.69, Together isə ən azı səkkiz GPU ilə 7.49 dollar. Şərəf kodeksi iş qruplarına və aşağı səviyyəli proqramlaşdırma və ya konseptual suallar üçün LLM-dən istifadəyə icazə verir, lakin ondan tapşırıqları həll etmək üçün istifadəni qadağan edir və süni intellekt əsaslı avtomatik tamamlamanın söndürülməsini tövsiyə edir. 19 mühazirəlik cədvəl 30 martdan 3 iyuna qədər davam edir və Daniel Selsam ilə Den Funun qonaq mühazirələri ilə başa çatır.