Stanford-ის CS336: ენის მოდელის შექმნა ნულიდან, საკუთარი კოდით

სტენფორდმა გამოაქვეყნა CS336-ის მასალები — 2026 წლის გაზაფხულის კურსი სახელწოდებით „Language Modeling from Scratch“, რომელიც სტუდენტებს ენის მოდელის შექმნის სრულ პროცესს ასწავლის და არა უკვე მზა მოდელის გამოყენებას. კურსს ასწავლიან პერსი ლიანგი და ტაცუ ჰაშიმოტო; ლექციები ორშაბათსა და ოთხშაბათს, 15:00–16:20 საათზე, Skilling Auditorium-ში ტარდება, ჩანაწერები კი საჯარო YouTube-პლეილისტზე ქვეყნდება.

რას მოიცავს კურსი

კურსი იმ ოპერაციული სისტემების კურსებს ეყრდნობა, სადაც სტუდენტები მთლიან სისტემას ნულიდან ქმნიან. აქ პროცესი მოიცავს მონაცემთა შეგროვებასა და გაწმენდას წინასწარი წვრთნისთვის, ტრანსფორმერის არქიტექტურის აგებას, მოდელის წვრთნას და განთავსებამდე შეფასებას. მასწავლებლების თქმით, მიზანია ენის მოდელების ღრმა გაგება იმ დროს, როცა ერთი ზოგადი დანიშნულების სისტემა სხვადასხვა ამოცანის გადაჭრას ითვალისწინებს.

წინაპირობები და დატვირთვა

CS336 ხუთკრედიტიანი, პრაქტიკაზე ორიენტირებული კურსია მინიმალური საყრდენი კოდით: სტუდენტებს ეუბნებიან, რომ სხვა AI კურსებთან შედარებით სიდიდის ერთი რიგით მეტი კოდის დაწერა მოუწევთ. წინაპირობებია Python-ისა და პროგრამული უზრუნველყოფის ინჟინერიის კარგი ცოდნა, ღრმა სწავლებისა და სისტემური ოპტიმიზაციის გამოცდილება (PyTorch, მეხსიერების იერარქია), კოლეჯის დონის ანალიზი და ხაზოვანი ალგებრა, ალბათობისა და სტატისტიკის საფუძვლები და მანქანური სწავლების შესავალი კურსი. სამუშაოს მნიშვნელოვანი ნაწილი ნეირონული ენის მოდელების სწრაფ და ეფექტურ მუშაობას ეხება რამდენიმე მანქანის GPU-ზე.

ხუთი დავალება, ერთი მოდელი

პირველი დავალება საფუძვლებს მოიცავს: ტოკენიზატორი, მოდელის არქიტექტურა და ოპტიმიზატორი, შემდეგ მინიმალური ენის მოდელის წვრთნა. მეორე დავალება სისტემებზე გადადის — პროფილირება და ბენჩმარკინგი, FlashAttention2-ის საკუთარი Triton-იმპლემენტაცია და მეხსიერებით ეფექტური, განაწილებული წვრთნის კოდი. მესამე დავალება მასშტაბირებას ეხება: რას აკეთებს ტრანსფორმერის თითოეული კომპონენტი და როგორ მოხდეს scaling law-ის მორგება წვრთნის API-ის მეშვეობით. მეოთხე დავალებაში ნედლი Common Crawl-ის მონაცემები გამოსადეგ წვრთნის მონაცემებად გარდაიქმნება ფილტრაციითა და დედუპლიკაციით. მეხუთე დავალება ზედამხედველობით fine-tuning-სა და გაძლიერებით სწავლებას იყენებს იმისთვის, რომ მოდელებმა მათემატიკური ამოცანები მსჯელობით გადაჭრა ისწავლონ; არსებობს არასავალდებულო მეორე ნაწილი უსაფრთხოების alignment-ის მეთოდებზე, მაგალითად DPO.

გამოთვლითი რესურსი, საპატიო კოდექსი და განრიგი

დამოუკიდებელი სწავლისთვის კურსი ღრუბლოვანი GPU-ების ვარიანტებს ასახელებს ერთი B200 GPU-სთვის, 2026 წლის 28 მარტის საჯარო ფასებით: Modal — საათში 6.25 დოლარი თვეში 30 დოლარის უფასო რესურსით, RunPod — 4.99, Nebius — 5.50 (preemptible რეჟიმში 3.05), Lambda Labs — 6.69, Together — 7.49 მინიმუმ რვა GPU-ით. საპატიო კოდექსი ნებას რთავს სასწავლო ჯგუფებს და LLM-ის გამოყენებას დაბალდონიანი პროგრამირების ან კონცეპტუალურ კითხვებზე, მაგრამ კრძალავს მისი დავალებების გადასაჭრელად გამოყენებას და რეკომენდაციას აძლევს AI-ავტოდასრულების გამორთვას. 19 ლექციის განრიგი 30 მარტიდან 3 ივნისამდე გრძელდება და სტუმარ-ლექციებით სრულდება — დენიელ სელსამი და დენ ფუ.