Stanford'ın CS336 dersi dil modelini sıfırdan kurmayı öğretiyor

Stanford, 2026 bahar döneminde verilen "Language Modeling from Scratch" adlı CS336 dersinin materyallerini yayımladı. Ders, hazır bir modeli kullanmak yerine öğrencileri bir dil modelinin kurulması sürecinin tamamından geçiriyor. Dersi Percy Liang ve Tatsu Hashimoto veriyor; dersler pazartesi ve çarşamba 15:00–16:20 arasında Skilling Auditorium'da yapılıyor ve kayıtlar herkese açık bir YouTube oynatma listesinde yayınlanıyor.

Dersin kapsamı

Ders, öğrencilerin sıfırdan bütün bir işletim sistemi yazdığı işletim sistemleri derslerinden esinleniyor. Buradaki süreç, ön eğitim için veri toplama ve temizlemeden transformer kurulumuna, model eğitiminden dağıtım öncesi değerlendirmeye kadar uzanıyor. Eğitmenlere göre amaç, tek bir genel amaçlı sistemin çok çeşitli görevleri üstlenmesinin beklendiği bir dönemde dil modellerini derinlemesine anlamak.

Ön koşullar ve iş yükü

CS336 beş kredilik, uygulama ağırlıklı bir ders ve iskelet kod bilinçli olarak asgari tutuluyor: öğrencilere diğer yapay zeka derslerine kıyasla en az bir kat daha fazla kod yazacakları söyleniyor. Ön koşullar arasında Python ve yazılım mühendisliğinde yetkinlik, derin öğrenme ve sistem optimizasyonu deneyimi (PyTorch, bellek hiyerarşisi), üniversite düzeyinde kalkülüs ve lineer cebir, temel olasılık ve istatistik ile makine öğrenmesine giriş dersi yer alıyor. İşin önemli bir bölümü, sinirsel dil modellerinin birden fazla makinedeki GPU'larda hızlı ve verimli çalıştırılmasına ayrılmış.

Beş ödev, tek model

Birinci ödev temelleri kapsıyor: tokenizer, model mimarisi ve optimizer, ardından asgari bir dil modelinin eğitimi. İkinci ödev sistemlere geçiyor: profilleme ve kıyaslama, FlashAttention2'nin kendi Triton uygulaması ve bellek açısından verimli dağıtık eğitim kodu. Üçüncü ödev ölçeklemeye odaklanıyor: transformer'ın her bileşeninin işlevi ve bir eğitim API'si üzerinden scaling law uydurma. Dördüncü ödev ham Common Crawl dosyalarını filtreleme ve tekilleştirme yoluyla kullanılabilir ön eğitim verisine dönüştürüyor. Beşinci ödev, modellerin matematik problemlerini akıl yürüterek çözmesi için gözetimli ince ayar ve pekiştirmeli öğrenmeyi uyguluyor; DPO gibi güvenlik hizalama yöntemlerini konu alan isteğe bağlı bir ikinci bölüm de var.

Hesaplama, onur kuralları ve program

Kendi başına takip edenler için ders, tek bir B200 GPU için bulut seçeneklerini 28 Mart 2026 tarihli kamuya açık fiyatlarla listeliyor: Modal saatte 6,25 dolar ve ayda 30 dolar ücretsiz hesaplama, RunPod 4,99, Nebius 5,50 (preemptible modunda 3,05), Lambda Labs 6,69, Together ise en az sekiz GPU ile 7,49 dolar. Onur kuralları çalışma gruplarına ve düşük seviyeli programlama ya da kavramsal sorular için LLM kullanımına izin veriyor, ancak ödevleri doğrudan çözmek için kullanılmasını yasaklıyor ve yapay zeka otomatik tamamlamasının kapatılmasını öneriyor. 19 derslik program 30 Mart'tan 3 Haziran'a kadar sürüyor ve Daniel Selsam ile Dan Fu'nun konuk dersleriyle sona eriyor.