Heretic-ը լեզվական մոդելներից մերժումները հեռացնում է առանց լրացուցիչ ուսուցման

Ինչ է անում Heretic-ը

Heretic-ը ազատ, բաց կոդով ծրագիր է, որը տրանսֆորմերային լեզվական մոդելներից հեռացնում է գրաքննությունը՝ այն, ինչ մշակողները անվանում են «անվտանգության հավասարեցում», առանց թանկ լրացուցիչ ուսուցման։ Ծրագիրը հրապարակում է Ֆիլիպ Էմանուել Վայդմանը կամավորների հետ միասին, իսկ կայքը նպատակը ձևակերպում է ուղղակիորեն՝ մոդելը միշտ պետք է հետևի օգտատիրոջ հրահանգներին։

Գործիքը համադրում է ուղղորդված աբլյացիայի՝ այսպես կոչված աբլիտերացիայի, զարգացած իրականացումը Optuna-ի վրա հիմնված պարամետրերի օպտիմիզատորի հետ։ Մեթոդը գտնում է մոդելի ներքին ուղղությունը, որը հանգեցնում է մերժման, և հեռացնում այն։ Այս մոտեցումը նկարագրվել է 2024 թվականին Արդիտիի և գործընկերների հետազոտության մեջ և զարգացել հետագա աշխատանքներում։

Ինչպես է աշխատում

Գործարկելու համար բավարար են GPU-ն և հրամանային տողը։ Տեղադրման մեկ քայլից հետո օգտատերը փոխանցում է Hugging Face-ի մոդելի նույնացուցիչը (փաստաթղթերում որպես օրինակ բերվում է Qwen/Qwen3.5-4B-ը), իսկ մնացածը ծրագիրն ինքն է անում՝ գնահատում է սարքավորումը խմբաքանակի օպտիմալ չափն ընտրելու համար, բեռնում է 400 «անվնաս» և 400 «վնասակար» հարցում հանրային տվյալների հավաքածուներից, չափում է, թե որքան հաճախ է մոդելը մերժում, և ապա որոնում է աբլյացիայի այն պարամետրերը, որոնք ճնշում են այդ մերժումները։

Սարքավորման պահանջները այսօրվա չափանիշներով համեստ են։ Փաստաթղթերը գնահատում են մոտ 2,5 ԳԲ վիդեոհիշողություն յուրաքանչյուր միլիարդ պարամետրի համար, այսինքն՝ 4 միլիարդ պարամետր ունեցող մոդելը տեղավորվում է մոտ 10 ԳԲ-անոց քարտի վրա, իսկ bitsandbytes-ի 4-բիթ քվանտացումը հիշողության ծախսը նվազեցնում է մոտ 70%-ով։ Անհրաժեշտ են Python 3.10 և ավելի նոր, ինչպես նաև PyTorch 2.2 և ավելի նոր տարբերակներ. աջակցվում են և՛ Nvidia, և՛ AMD վիդեոքարտերը։ Կարգավորումների ֆայլը և հրամանային տողի պարամետրերը վերահսկում են գործընթացի գրեթե բոլոր փուլերը։

Արդյունքներ և տարածում

Ծրագիրը հրապարակում է չափումներ gemma-3-12b-it-ի համար. սկզբնական մոդելը մերժում էր 100 «վնասակար» հարցումից 97-ը, իսկ Heretic-ի տարբերակը՝ միայն երեքը, ինչը հավասարվում է ձեռքով ստեղծված աբլիտերացիաներին, սակայն սկզբնական մոդելից շատ ավելի փոքր շեղմամբ։ Նրա KL ցուցանիշը 0,16 է՝ նույն մոդելի երկու տարածված աբլիտերացիաների 1,04 և 0,45-ի դիմաց։

Heretic-ը աջակցում է dense մոդելների մեծ մասին, բազմաթիվ մուլտիմոդալ մոդելների, մի քանի MoE ճարտարապետությունների և հիբրիդային լուծումների, օրինակ՝ Qwen3.5-ի, սակայն մաքուր state-space մոդելները դեռևս չեն ընդգրկվել։ Մշակողների խոսքով՝ համայնքը Hugging Face-ում հրապարակել է ավելի քան 5000 մաքրված մոդել, որոնք ստեղծվել են այս գործիքով։ Heretic-ը տարածվում է GNU AGPL v3 լիցենզիայով, իսկ ստորագրված թողարկումները հասանելի են GitHub-ում, Codeberg-ի հայելում, Internet Archive-ում և IPFS-ում։