Laya․ բաց կայացման շարժիչ՝ ստեղծված մեկ տարի առաջ, երբ լաբորատորիան գաղափարը նորը համարեց

Ինժիները, որը մեկ տարի առաջ հրապարակել էր ոչ ավտոռեգրեսիվ որոշումների մոդելներ, թողարկեց ամբողջովին բաց այլընտրանք այն բանից հետո, երբ լավ ֆինանսավորված լաբորատորիան նմանատիպ ճարտարապետությունը ներկայացրեց որպես նոր գիտական բեկում։

Մեկ տարվա վաղեմության գաղափարը՝ որպես նորույթ

Նանդակիշոր Մուկուննոթը՝ ConvAI Innovations-ի հիմնադիր և գործադիր տնօրեն, գրում է, որ մոտեցումը կառուցել է 2025 թվականի մարտին․ arXiv-ի հոդված հաջորդականության փոխակերպման հետագծերի մասին, մոդելի կշիռներ և բաց տվյալների հավաքածու Hugging Face-ում։ 2026 թվականի սեպտեմբերին TypeSafe AI-ն՝ ChatGPT-ի համահեղինակի հիմնադրած ընկերությունը, թողարկեց Jev-ը, որը հեղինակը նկարագրում է որպես նույն ոչ ավտոռեգրեսիվ որոշումների գաղափարը, սակայն առանց տեխնիկական հոդվածների, բաց կշիռների և բաց ուսուցողական տվյալների։ Jev-ը զուգահեռ ընտրանքավորում է անում RLCD-ի միջոցով և գանձում է 0,042 դոլար մեկ միլիոն մուտքային նշանի համար, իսկ պատասխանի բնորոշ ժամանակը մոտ 150 միլիվայրկյան է։

Ինչ է Laya-ն

Վիրավորված մնալու փոխարեն նա գաղափարը վերակառուցեց որպես Laya՝ System 1 տիպի կայացման շարժիչ․ այն տեքստ չի գեներացնում, միայն հավանականային բաշխումներ է վերադարձնում կառուցվածքային սխեմաների վրա։ Այն պատասխանում է երեք պրիմիտիվով՝ choice, որը բառարանից ընտրում է մեկ բանալի և վերադարձնում բաշխումն ու չափորոշված վստահությունը․ score, որը փաստաթուղթը դասում է կարգային սանդղակի վրա, օրինակ 0-ից 3․ և noul՝ բուլյան հարց՝ P(true)-ով։ Քանի որ ելքային տարածքը միայն թվեր են, մոդելը չի կարող հալյուցինացիա անել, իսկ սխալ JSON-ն անհնար է, պնդում է հեղինակը։ Երկկողմանի էնկոդերներով այն մեկ GPU-ի վրա պատասխանում է 32,8 միլիվայրկյանում, իսկ խմբային ռեժիմում՝ 7,2 միլիվայրկյանում մեկ հարցին․ ըստ էջի՝ դա վեցից ութ անգամ արագ է Jev-ից, Apache 2.0 կշիռներով և առանց API ծախսի։

Երեք չեքփոյնթ և երթուղիչ

Ընտանիքը մեկ Hugging Face պահոցում միավորում է երեք չեքփոյնթ՝ laya (ModernBERT-large, 421 միլիոն պարամետր, 512 նշանի կոնտեքստ) անգլերեն դասակարգման և փոստի զտման համար․ laya-multilingual (mmBERT-base, 256 հազար նշանի բառարան, 322 միլիոն պարամետր) ավելի քան 100 լեզվի համար․ և laya-typed-decisions գործակալային սցենարների համար՝ 0,766 ճշգրտությամբ։ MASSIVE բենչմարկի 51 լեզվի ստուգումը ցույց տվեց, որ անգլերեն մոդելները լատինական գրից դուրս փլուզվում են․ քմերերենում մոդելը 0,000 ճշգրտություն տվեց 0,952 վստահությամբ։ Վստահությունը երբեք չիջավ 0,885-ից, անկախ նրանից՝ ճշգրտությունը 82% էր, թե զրո, ուստի վստահությամբ զտելը չի պաշտպանում, և երթուղավորման որոշումը պետք է կայացվի ուղիղ անցումից առաջ։ Laya-ի երթուղիչը ստուգում է 22 այբուբենների Unicode գրերը՝ ավելացնելով ընդամենը 0,09 մվրկ անգլերենի և 0,54 մվրկ հնդկական գրերի համար։

Բենչմարքներ և ազնիվ սահմանափակումներ

Ընդհանուր բենչմարքներում երթուղավորված համակարգը AG News-ում 0,950 է ցույց տալիս Jev-ի 0,910-ի դիմաց, DAIR Emotion-ում՝ 0,595 0,480-ի դիմաց, իսկ չափաբերման ակնկալվող սխալը 0,081 է 0,246-ի դիմաց։ Էջը նաև թվարկում է առաստաղները․ choice սխեմաները ճշգրտություն կորցնում են 20 տարբերակից ավելի դեպքում՝ Banking77-ում 77 պիտակով Laya-ն ստացել է 0,425 Jev-ի 0,870-ի դիմաց․ բազային մոդելները առանց լրամշակման մոտ 0,35 են ցույց տալիս․ իսկ հարցի տեսակի համար մեկ ջերմաստիճանային սկալյարի հարմարեցումը չափաբերման սխալը 0,466-ից իջեցնում է 0,081-ի։