Privatemode-ը GLM-5.3-Flash-ը դարձրել է Jev-ի նման որոշումների մոդել

Privatemode AI-ն ցույց է տվել, թե ինչպես կարելի է պատրաստի լեզվական մոդելը վերածել որոշումների մոդելի։ Սեպտեմբերի 24-ին հրապարակված բլոգում գերմանական գաղտնի հաշվարկների մատակարարը հայտնել է, որ GLM-5.3-Flash-ը մեկ forward pass-ով վերադարձնում է տիպավորված որոշումներ՝ յուրաքանչյուր տարբերակի հավանականությամբ, առանց լրացուցիչ ուսուցման։

Այս առաջադրանքի համար ստեղծված մոդելները, օրինակ TypeSafe-ի Jev-ը և Convai-ի Laya-ն, վերադարձնում են ընտրված տարբերակը՝ յուրաքանչյուրի վստահության արժեքի հետ միասին։ Privatemode-ի մեթոդը նույն վարքը ստանում է սովորական LLM-ից։

Ինչպես է աշխատում մեթոդը

Լեզվական մոդելը տեքստը ուղղակիորեն չի գրում. ամեն քայլին այն հավանականության բաշխում է արտադրում իր ամբողջ բառարանի վրա։ Մեթոդը օգտագործում է հենց դա։ Վիճակը, հարցը և համարակալված տարբերակները prompt-ում մտնում են JSON-ի տեսքով, իսկ prompt-ն արդեն ավարտվում է choice_index: նախածանցով, ուստի մոդելի հաջորդ token-ը պետք է տարբերակի համար լինի։ Գրադարանը այդ token-ը չի կարդում. այն կարդում է հավանականությունները, որոնք մոդելը տվյալ դիրքում վերագրել է բոլոր տարբերակների համարներին, և նորմալացնում է դրանք տարբերակների վրա։

Իրականացումը GLM-5.3-Flash-ը աշխատեցնում է vLLM-ի վրա և օգտագործում /chat/completions հասցեն continue_final_message և add_generation_prompt: false պարամետրերով։ vLLM-ի allowed_token_ids-ը բառարանը սահմանափակում է միայն տարբերակների համարներով, իսկ logprob_token_ids-ը վերադարձնում է հենց պահանջված token-ների log-հավանականությունները։

Ճշգրտությունը Jev-ի մակարդակին

Հեղինակները երեք համակարգ փորձարկել են 29 հանրային, պիտակավորված տվյալների հավաքածուներում, որոնք պարունակում են 2-ից 151 տարբերակ՝ անգլերեն և գերմաներեն տեքստով։ 28 տեքստային հավաքածուներում GLM-5.3-Flash-ը և Jev-ը հավասար են. յուրաքանչյուրը 10 հավաքածուում ավելի ճշգրիտ է, ութում տարբերությունը մեկ տոկոսային կետից պակաս է, իսկ Jev-ի օգտին 0,7 կետ մեդիանային տարբերությունը վիճակագրորեն աննշան է (p = 0,64)։ Տեղականորեն աշխատող Laya-ն (421 միլիոն պարամետր) երկուսից հետ է մնում 13-15 կետով։

Արագությունը, գինը և նկարները

Պատասխանի ժամանակը կախված է տեղից. մեկ հարցումով չափելիս Privatemode-ը Գերմանիայից պատասխանել է 180 միլիվայրկյանում, Jev-ը՝ 264-ում. ԱՄՆ-ից հերթականությունը փոխվում է՝ 164 միլիվայրկյան Jev-ի, 299-ը՝ Privatemode-ի համար։ Գնով Jev-ն ավելի էժան է. միլիոն որոշումը GLM-5.3-Flash-ով արժե մոտ 62 եվրո, Jev-ով՝ մոտ 16 եվրո։ Jev-ը յուրաքանչյուր հարցին ավելացնում է մոտ 270 token և ևս 10-ը յուրաքանչյուր տարբերակի համար, GLM-5.3-Flash-ի prompt-ը՝ մոտ 55 և 20։

Քանի որ GLM-5.3-Flash-ը աշխատում է նկարների հետ, հարցը կարող է պատկեր պարունակել. Jev-ը և Laya-ն աշխատում են միայն տեքստով։ RVL-CDIP-ում՝ 16 դասի 1 600 սկանավորված գործարար փաստաթղթերի հավաքածուում, մոդելը հասնում է 70,2% ճշգրտության, ընդ որում պատկերն ավելացնում է մոտ 1 350 մուտքային token։ Հեղինակները նշում են նաև սահմանափակում. մտածողության միացումը ավելի ճշգրիտ է, սակայն միլիոն որոշումը արժե մոտ 350 եվրո։