Abliterated modellər bilikdən əvvəl itaəti itirir

dev.to-da dərc olunan texniki yazıda abliterated açıq modelləri işlədən Grunz xidmətinin arxasındakı developer, bu cür checkpoint-ləri qiymətləndirən komandaların adətən yanlış şeyi ölçdüyünü iddia edir. Hugging Face-də minlərlə abliterated model var və ilk pisləşən bilik deyil, itaətdir: təlimatların yerinə yetirilməsi və çıxış formatına əməl etmə.

abliteration nə edir

abliteration modelin aktivasiya fəzasında imtina istiqamətini tapır və onu çəkilərdən çıxarır. Burada qradiyent addımları və təlim veriləri yoxdur: bu finetune deyil, çəki redaktəsidir. Adi fərziyyə qabiliyyət mübadiləsidir: uyğunluq qazanırsan, ümumi intellektin bir hissəsini itirirsən və bunu modelin hələ də faktları bilməsi ilə yoxlayırsan. Müəllifə görə, ziyan burada görünmür.

Əvvəlcə itaət pisləşir

Variantlar və model ailələri üzrə ilk pisləşən təlimatların yerinə yetirilməsi və çıxış formatına əməl etmədir. Model materialı hələ də bilir, lakin ölçülə bilən şəkildə pisləşir: instruct şablonuna və prefill-ə riayət etmək, JSON sxemi və ya tool-call sintaksisi kimi strukturlaşdırılmış çıxış müqaviləsinin içində qalmaq və uzun kontekstdə system prompt məhdudiyyətini saxlamaq. MMLU-da baza modeli ilə səs-küy aralığında qalan checkpoint strukturlaşdırılmış çıxışda qat-qat çox uğursuz olur.

Söhbət testi bunu niyə tutmur

Standart yoxlama söhbətdir: model artıq imtina etmir, mətn yaxşı oxunur. Bu test nasazlığı aşkar edə bilmir, çünki model yaxşı görünür, hətta yaxşıdan da yaxşı, çünki imtina davranışı yox olub. Problem modelin çıxışını parse edən sistemə qoşulduğu və uğursuzluq nisbətinin artdığı anda üzə çıxır. Perplexity də kömək etmir: ümumi korpusda o, demək olar ki, tərpənmir, format uyğunluğu isə kəskin düşür.

Tövsiyə format uyğunluğunu keyfiyyətdən və düzgünlükdən asılı olmadan qiymətləndirməkdir: dəqiq çıxış müqaviləsi təyin edən sorğular göndər, müqaviləyə ikili uyğunluğu ölç, məzmunun düzgünlüyünü yox, və müqayisə edilə bilən nisbəti bildir. Düzgün formalaşdırılmış yanlış cavab 1.0 alır; sxemi pozan mətnə bükülmüş düzgün cavab isə 0.

Quant-larla əlaqə: bir fərziyyə

Müəllif quant-larla qarşılıqlı təsiri açıq şəkildə düzgün ölçmədiyi fərziyyə kimi qeyd edir: ziyan, görünür, quant ziyanı ilə toplanır, buna görə abliterated model format əməlində bazadan daha sürətli pisləşir. Bu doğrudursa, abliteration quant-ın sonra yuvarlaqlaşdırdığı çəki strukturunu artıq yastılamış olur. Müəllif kiçik modellərdə q6_K və yuxarıda daha yaxşı nəticə aldığını, 4B modeldə q8_0-ın isə yalnız təxminən 4,3GB tutduğunu bildirir. Düzgün test baza modeli və abliterated cütünü eyni bits per weight-ə quantize edib uyğunluq nisbətini, perplexity-ni yox, ölçməkdir. İstehsalda isə, deyə əlavə edir, tool-call parser-i daha bağışlayan olmalı və uyğunluq nisbəti ayrı metrika kimi izlənməlidir.