Stanford-ը և NVIDIA Research-ը ներկայացրին CLM-8B արագ System One մոդելը
Stanford University-ի և NVIDIA Research-ի թիմը ներկայացրեց Contrastive Language Models-ը, որը վիճակները կապում է գործողությունների հետ ընդհանուր տարածությունում։ CLM-8B-ը Jev-ի մակարդակին է համակարգչային աշխատանքում և խաղերում՝ մինչև 9 անգամ ավելի արագ։
Ինչ է Contrastive Language Model-ը
Stanford University-ի և NVIDIA Research-ի թիմը՝ Ջեքի Կվոկի գլխավորությամբ, սեպտեմբերի 23-ին ներկայացրեց Contrastive Language Models (CLM) նախագիծը։ Հեղինակների նկարագրությամբ՝ CLM-ը System One մոդելների նոր դաս է․ քայլ առ քայլ մտածողության փոխարեն այն արագ, ռեֆլեքսային որոշումներ է կայացնում՝ վիճակի կոդավորիչը գործողության կոդավորիչի հետ կապելով ընդհանուր embedding տարածության մեջ, իսկ ուսուցումն ընթանում է երկկողմանի InfoNCE կոնտրաստային ֆունկցիայով։
Օգտագործման պահին երկու կոդավորիչները միասին աշխատում են որպես զրոյական մարզման (zero-shot) գործողությունների դասակարգիչ՝ տրված վիճակի և թեկնածու գործողությունների համար CLM-ը գնահատում է ամեն մեկը կոսինուսային նմանությամբ և ընտրում ամենաբարձրը։ Յուրաքանչյուր կոդավորիչ սառեցված LLM հիմքի ու 20 միլիոն պարամետր ունեցող մարզվող պրոյեկցիոն գլխի համադրություն է․ գրադիենտներ ստանում է միայն գլուխը։ Nemotron DQA-ի վրա ամբողջական նախնական մարզումը մեկ RTX 4090-ի վրա տևում է մոտ մեկ ժամ։
Տվյալների եռափուլ բաղադրատոմս
Նախնական մարզումն ընդգրկում է Nemotron DQA-ի շուրջ 60 միլիոն հարց ու պատասխան զույգ՝ հարցը վիճակն է, պատասխանը՝ գործողությունը։ Միջանկյալ փուլում ավելանում են Gemini 2.5 Flash-Lite-ով ստեղծված մոտ 30 միլիոն սինթետիկ բարդ նեգատիվներ, իսկ վերջնական փուլում օգտագործվում է Agent Data Protocol-ի մոտ 1 միլիոն գործակալային հետագիծ։
Արդյունքներ և արագություն
Համակարգչային աշխատանքի, խաղերի և գործիքների կանչի առաջադրանքներում CLM-8B-ը չի զիջում Jev-ին, բայց աշխատում է մինչև 9 անգամ ավելի արագ․ մոտ 1000 թեկնածու գործողության դեպքում տարբերությունը հասնում է 13 անգամի։ Որպես հետագծերի վերիֆիկատոր՝ մոդելը նոր ռեկորդ է սահմանում DeepSWE (81,6%) և Terminal-Bench 2.1 (87,6%) թեստերում, իսկ H100 GPU-ի վրա ինֆերենսը 4-6 անգամ արագ է Jev-ից՝ 38 և 30 հատկացված առաջադրանքներում։
Ենթակառուցվածք և հաջորդ քայլեր
Սերվինգի ենթակառուցվածքը տարանջատում է վիճակներն ու գործողությունները, որպեսզի դրանց embedding-ները քեշավորվեն առանձին․ երբ փոխվում է միայն վիճակը, ինչպես Super Mario-ում, ամեն քայլին հինգի փոխարեն բավական է մեկ անցում։ Թիմը նաև սահմանել է CLM-ի մասշտաբավորման օրենքները․ թեստային կոնտրաստային կորուստը նվազում է ըստ հզորության օրենքի՝ հաշվարկի, տվյալների և մոդելի չափի աճին զուգահեռ։ Մուլտիմոդալ CLM-35B-ն արդեն մարզվում է, թողարկումը նախատեսված է հաջորդ ամսվա սկզբին։
SiTech — AI-ով հզորացված վեբ մշակում
Ստեղծում ենք արագ ու ժամանակակից կայքեր և AI-ը ներդնում իրական բիզնես գործընթացներում։ Ունե՞ք նախագիծ կամ հարց։ Ուրախ կլինենք օգնել։