Սթենֆորդի CS336 դասընթացը սովորեցնում է լեզվական մոդել կառուցել զրոյից

Սթենֆորդը հրապարակել է CS336 դասընթացի նյութերը՝ 2026 թվականի գարնան «Language Modeling from Scratch» դասընթացը, որը ուսանողներին տանում է լեզվական մոդել ստեղծելու ողջ ընթացքով, այլ ոչ թե սովորեցնում օգտագործել պատրաստը։ Դասավանդում են Փերսի Լյանը և Թացու Հաշիմոտոն. դասախոսությունները տեղի են ունենում երկուշաբթի և չորեքշաբթի 15:00–16:20 Skilling Auditorium-ում, իսկ ձայնագրությունները հրապարակվում են բաց YouTube ցանկում։

Ինչ է ընդգրկում դասընթացը

Դասընթացը ոգեշնչված է օպերացիոն համակարգերի դասընթացներից, որտեղ ուսանողները ամբողջ համակարգ են կառուցում զրոյից։ Այստեղ ընթացքը ներառում է տվյալների հավաքումն ու մաքրումը նախնական ուսուցման համար, տրանսֆորմերի ճարտարապետության կառուցումը, մոդելի ուսուցումը և տեղադրումից առաջ գնահատումը։ Դասախոսների խոսքով՝ նպատակը լեզվական մոդելների խոր ընկալումն է այն ժամանակ, երբ մեկ ընդհանուր նշանակության համակարգ պետք է լուծի տարբեր խնդիրներ։

Նախապայմաններ և ծանրաբեռնվածություն

CS336-ը հինգ կրեդիտանոց, գործնականության վրա հիմնված դասընթաց է՝ միտումնավոր նվազագույն օժանդակ կոդով. ուսանողներին ասում են, որ այլ ԱԲ դասընթացների համեմատ առնվազն մեկ կարգով ավելի շատ կոդ պետք է գրեն։ Նախապայմաններն են Python-ի և ծրագրային ինժեներիայի իմացությունը, խորը ուսուցման և համակարգային օպտիմիզացիայի փորձը (PyTorch, հիշողության հիերարխիա), համալսարանական անալիզ և գծային հանրահաշիվ, հավանականության ու վիճակագրության հիմունքներ և մեքենայական ուսուցման ներածական դասընթաց։ Աշխատանքի զգալի մասը նվիրված է նեյրոնային լեզվական մոդելների արագ ու արդյունավետ աշխատանքին մի քանի մեքենաների GPU-ներում։

Հինգ առաջադրանք, մեկ մոդել

Առաջին առաջադրանքը հիմունքներն է՝ թոքենիզատորը, մոդելի ճարտարապետությունը և օպտիմիզատորը, ապա նվազագույն լեզվական մոդելի ուսուցումը։ Երկրորդը անցնում է համակարգերին՝ պրոֆիլավորում ու բենչմարքինգ, FlashAttention2-ի սեփական Triton իրականացումը և հիշողությամբ արդյունավետ բաշխված ուսուցման կոդը։ Երրորդը վերաբերում է մասշտաբավորմանը՝ ինչ է անում տրանսֆորմերի յուրաքանչյուր բաղադրիչը և ինչպես համապատասխանեցնել scaling law-ը ուսուցման API-ի միջոցով։ Չորրորդում հում Common Crawl ֆայլերը վերածվում են օգտակար նախնական ուսուցման տվյալների՝ զտմամբ և կրկնօրինակների հեռացմամբ։ Հինգերորդը կիրառում է վերահսկվող նուրբ լարում և ուժեղացմամբ ուսուցում, որպեսզի մոդելները մաթեմատիկական խնդիրները լուծեն մտածելով. կա նաև ոչ պարտադիր երկրորդ մաս՝ անվտանգության հավասարեցման մեթոդների, օրինակ DPO-ի մասին։

Հաշվողական ռեսուրս, պատվի կանոնագիրք և ժամանակացույց

Ինքնուրույն սովորողների համար դասընթացը թվարկում է ամպային GPU տարբերակներ մեկ B200 չիպի համար՝ 2026 թվականի մարտի 28-ի հրապարակային գներով. Modal՝ ժամում 6.25 դոլար և ամսական 30 դոլար անվճար հաշվարկ, RunPod՝ 4.99, Nebius՝ 5.50 (preemptible ռեժիմում՝ 3.05), Lambda Labs՝ 6.69, Together՝ 7.49՝ նվազագույնը ութ GPU-ով։ Պատվի կանոնագիրքը թույլ է տալիս ուսումնական խմբեր և LLM-ի օգտագործում ցածր մակարդակի ծրագրավորման կամ հայեցակարգային հարցերի համար, բայց արգելում է դրանով առաջադրանքներ լուծելը և խորհուրդ է տալիս անջատել ԱԲ ավտոլրացումը։ 19 դասախոսությունից բաղկացած ժամանակացույցը տևում է մարտի 30-ից հունիսի 3-ը և ավարտվում է Դանիել Սելսամի ու Դեն Ֆուի հյուր դասախոսություններով։