gzip dil modeli ola bilərmi? DEFLATE üzərində qurulmuş mətn generatoru

nathan.rs saytında dərc olunan bloq yazısı zarafat kimi səslənən sual verir: demək olar ki, hər əməliyyat sistemi ilə gələn sıxışdırma aləti gzip dil modeli kimi işləyə bilərmi? Müəllif gzipt adlı kiçik eksperiment qurub və o, mətni yalnız sıxışdırıcıdan istifadə edərək yaradır: nə sinir şəbəkəsi, nə öyrənilmiş parametrlər.

Sıxışdırma proqnozdur

Başlanğıc nöqtəsi "Language Modeling is Compression" (arXiv 2309.10668) məqaləsidir və o, sıxışdırma ilə proqnoz arasındaki ekvivalentliyi formalaşdırır: hər proqnoz modeli öz-özlüyündə sıxışdırıcıdır, hər sıxışdırma alqoritmi isə proqnoz modelidir. İntuisiya informasiya nəzəriyyəsindən gəlir: simvolun kodlanması üçün −log₂ p bit lazımdır, burada p modelin ona verdiyi ehtimaldır. Yüksək ehtimal qısa kod deməkdir.

gzip DEFLATE alqoritmindən istifadə edir və 32 KiB ölçülü sürüşən pəncərə üzərində işləyir. Əgər növbəti baytlar pəncərədə artıq olanı təkrarlayırsa, DEFLATE onları ucuz geri istinad kimi kodlayır. Qiymətləndirmə buradan doğur: kontekst namizəd davamla birlikdə sıxışdırılır və nəticənin uzunluğu ölçülür. Nəticə nə qədər qısadırsa, namizəd bir o qədər "proqnoz edilmiş" sayılır. Korpusla ilkin hazırlıq həmin korpusu gzip pəncərəsinə yerləşdirir.

Qiymətdən generasiyaya

Qiymətləndirmə hələ generasiya deyil. Ən yaxşı sıxışan tək növbəti baytı seçmək uğursuz olur, çünki gzip tam ədəd uzunluq qaytarır — kəsrlər yoxdur. Bir bayt əlavə etmək çox vaxt uzunluğu ümumiyyətlə dəyişmir, buna görə bir çox namizəd eyni balı alır və siqnal kvantlama səs-küyündə itir. gzipt bunu şüa axtarışı (beam search) ilə aşır: ən yaxşı sıxışan beam_width qismən davamı saxlayır, hər birini korpusda rast gəlinən hər baytla genişləndirir, nəticələri sıxılmış uzunluğa görə qiymətləndirir və yenidən budayır. Bu, ən yaxşı aralıq seçilməzdən əvvəl horizon bayt boyunca təkrarlanır.

Vacib bir detal: qiymətləndirmə kontekstində yaradılan mətnin yalnız son baytları qalır. DEFLATE yaxın uyğunluqları uzaqlardan daha ucuza kodlayır; bütün tarixçəni görən model ən ucuza öz yazdığını sözbəsöz təkrarlayan dövrlərə düşərdi.

Praktikada nə alınır

tiny Shakespeare korpusu ilə hazırlanmış alət "MENENIUS:" göstərişindən sonra Menenius, Marcius və Lartiusa aid edilən sətirlər qaytardı: ardıcıl deyil, lakin mənbəyin təsiri aydındır. Kod yalnız standart kitabxanadan (zlib) istifadə edən bir Python faylıdır. Qeydlərdə müəllif bildirir ki, məqalə müəllifləri oxşar şeyi sınayıblar və nəticələr zəif olub, şüa axtarışının əlavə edilməsi isə generasiya keyfiyyətini əhəmiyyətli dərəcədə yaxşılaşdırıb.

Nəticə dardır, amma realdır: ümumi təyinatlı sıxışdırıcı mətnin faydalı gizli modelini daşıya bilir. Sinir dil modelindən çox uzaqdır və müəllif bunu özü deyir. Amma bu, proqnozla sıxışdırmanın eyni məsələnin iki tərəfi olduğunun təmiz nümayişidir.