abliterated մոդելները հնազանդությունը կորցնում են գիտելիքից առաջ

dev.to-ում հրապարակված գրառման հեղինակը՝ abliterated բաց մոդելներ մատուցող Grunz ծառայության մշակողը, պնդում է, որ այդպիսի checkpoint-ները գնահատողները սովորաբար սխալ բան են չափում։ Hugging Face-ում այժմ հազարավոր abliterated մոդելներ կան, և առաջինը, որ վատանում է, գիտելիքը չէ, այլ հնազանդությունը՝ հրահանգների կատարումն ու ելքի ձևաչափին հետևելը։

Ինչ է անում abliteration

abliteration-ը հայտնաբերում է մերժման ուղղությունը մոդելի ակտիվացիաների տարածության մեջ և դուրս է նախագծում այն կշիռներից։ Այստեղ գրադիենտ քայլեր ու ուսուցման տվյալներ չկան. սա կշիռների խմբագրում է, ոչ finetune։ Ընդունված ենթադրությունը կարողությունների փոխանակումն է՝ ձեռք ես բերում հնազանդություն, կորցնում ընդհանուր ինտելեկտի մի մասը, և դա ստուգում ես նրանով, թե դեռ գիտի՞ փաստերը։ Հեղինակի խոսքով՝ վնասն այստեղ չի ի հայտ գալիս։

Սկզբում հնազանդությունն է վատանում

Տարբերակների ու մոդելների ընտանիքների դեպքում առաջինը վատանում են հրահանգների կատարումն ու ելքի ձևաչափին հետևելը։ Մոդելը դեռ գիտի նյութը, բայց չափելիորեն վատանում է instruct ձևանմուշին ու prefill-ին հետևելը, JSON սխեմայի կամ tool-call շարահյուսության պես կառուցվածքային ելքի պայմանագրի ներսում մնալը և երկար կոնտեքստում system prompt-ի սահմանափակումը պահելը։ Checkpoint-ը, որ MMLU-ում մնում է բազայինի աղմուկի սահմաններում, կառուցվածքային ելքում ավելի հաճախ է ձախողվում։

Ինչու չաթային թեստը դա չի բռնում

Ստանդարտ ստուգումը զրույցն է՝ մոդելն այլևս չի՞ մերժում, տեքստը լա՞վ է կարդացվում։ Նման թեստը չի կարող հայտնաբերել այդ ձախողումը, քանի որ մոդելը լավ տեսք ունի, հաճախ՝ լավից էլ լավ, քանի որ մերժման վարքն անհետացել է։ Խնդիրն ի հայտ է գալիս ավելի ուշ, երբ մոդելը միացնում ես ելքը parse անող համակարգին, և ձախողումների հաճախականությունը բարձրանում է։ perplexity-ն էլ չի օգնում. ընդհանուր կորպուսի վրա այն համարյա չի շարժվում, մինչդեռ ձևաչափին հետևելը կտրուկ ընկնում է։

Առաջարկն է՝ ձևաչափին հետևելը գնահատել որակից և ճշտությունից անկախ. ուղարկիր հարցումներ՝ ելքի ճշգրիտ պայմանագրով, գնահատիր բինար համապատասխանությունը պայմանագրին, ոչ թե բովանդակությանը, և հրապարակիր համեմատելի ցուցանիշ։ Կոռեկտ ձևավորված սխալ պատասխանը ստանում է 1.0, մինչդեռ սխեման կոտրող տեքստի մեջ փաթաթված ճիշտ պատասխանը՝ 0։

Quant-ների հետ փոխազդեցությունը՝ վարկած

Quant-ների հետ փոխազդեցությունը հեղինակը բացահայտորեն նշում է որպես վարկած, որը պատշաճ չի չափել. վնասը, ըստ երևույթին, գումարվում է quant-ի վնասին, ուստի abliterated մոդելը ձևաչափի պահպանման հարցում quant-ի սանդղակով ավելի արագ է վատանում, քան բազայինը։ Եթե դա ճիշտ է, abliteration-ն արդեն հարթել է կշիռների այն կառուցվածքը, որ quant-ը հետո կլորացնում է։ Հեղինակը փոքր մոդելների վրա ավելի լավ արդյունք է ստանում q6_K-ից և բարձրից, իսկ 4B մոդելի q8_0-ը զբաղեցնում է ընդամենը մոտ 4,3GB։ Ճիշտ թեստը երկուսի quant-ումն է նույն bits per weight-ով, ապա համապատասխանության ցուցանիշի չափումը, ոչ perplexity-ի։