
Tufa Labs tufazip 1 GB Wikipedia-nı itkisiz 105,39 MB-a sıxışdırır
Tufa Labs bildirir ki, tufazip öz-özünə öyrənən Transformer proqnozlaşdırıcısı ilə Wikipedia-nın 1 GB-ını itkisiz 105,39 MB-a sıxışdırıb; əl ilə qurulmuş modellər yoxdur, amma iki Nvidia B200 GPU təxminən bir həftə işləməlidir.
Tufa Labs-a görə, tufazip Wikipedia-nın 1 GB-ını itkisiz 105,39 MB-a sıxışdırıb. Üsul tək proqnozlaşdırıcı kimi 163 milyon parametrli Transformer-dən istifadə edir və əl ilə qurulmuş model yoxdur. Bu, neyron şəbəkəsini yeganə proqnozlaşdırıcı kimi istifadə edən girişlər arasında Large Text Compression Benchmark-da ən kiçik nəticədir.
tufazip necə işləyir
Optimizasiyadan sonra tam paket 105,39 MB-dır və yerə qənaət üçün aşağı dəqiqliklə (kvantlaşdırılmış) saxlanılan 4,33 MB-lik hazır başlanğıc modelini də əhatə edir; faylı açmaq üçün lazımdır. Tam model 12 qatlı Transformer-dir; başlanğıc cəmi iki hazır mərhələni saxlayır və tam model yaddaşda işə düşəndə bütün 12 qatı doldurmaq üçün onları irəli-geri köçürür; hər köçürmə ayrıca öyrənməyə davam edir. Bu, ənənəvi çatbot və ya bulud süni intellekti deyil, anında öyrənən öz-özünə kifayət edən dil modelidir və sıxışdırma itkisizdir, ona görə proqnozlaşdırıcı yeniləmələri tam deterministik olmalıdır. Öyrətmə iki mərhələdə gedir: 34 milyon parametrli başlanğıc sıxışdırma başlamazdan əvvəl oflayn öyrədilir, sonra tam model hər tokeni proqnozlaşdırıb onun üzərində öyrənərək onlayn öyrənir; açma tərəfi eyni addımları təkrarlayır və mətnlə yanaşı modeli yenidən qurur. Ümumi ölçü sıxışdırılmış mətni, açma proqramını və başlanğıc daxil olmaqla lazımi faylları əhatə edir, amma tam öyrədilmiş modeli əhatə etmir. Tufa Labs-a görə, bu, benchmark-da ondan yuxarıda yerləşən 12 girişdən fərqlənir: onlar Transformer-i əl ilə qurulmuş modellərlə qarışdırırlar.
Performans və aparat tələbləri
Tədqiqatçı Tommy He tufazip-i qurub və 19 noyabr 2026-cı il tarixli tədqiqat yazısı onu təqdim edib. İlk, yalnız onlayn versiya sentyabrın əvvəlində təqdim olunanda ikinci yerdə olub; 105,39 MB-lik versiya benchmark-ın 19 noyabr yeniləməsinə görə 13-cü idi. Benchmark yalnız mətn üçündür; tədqiqat işidir, məhsul deyil. Sıxışdırma və açma test maşınında iki Nvidia B200 GPU və iki Intel Xeon Platinum 8570 CPU tələb edəcək: 631 548 saniyə və 645 748 saniyə, yəni təxminən 7,3 və 7,5 gün; başlanğıcın oflayn öyrədilməsi nəzərə alınmır. İlk versiya, 105,98 MB, 647,595 və 630 136 saniyə çəkib. GPU VRAM-i aralarında 43,37 GiB-ə qədər yüksəlib; GPU-lar daxil olmaqla ümumi yaddaş istifadəsi sıxışdırma zamanı təxminən 68 525 MiB-ə, açma zamanı isə 73 748 MiB-ə qədər yüksəlib. Müqayisə üçün: cmix-neif 2.0, 89,35 MB (AMD Epyc 7B13, 4 nüvə, 49,2/49,3 saat); DNA-4, 105,55 MB (RTX 4090, 19,8 saat öyrətmə daxil, 2,6 saat açma); NNCP v3.2, 107,26 MB (RTX 3090, 67,2/66,3 saat).
Eksperimentlər və kompromislər
Eksperimentlər göstərir ki, daha kiçik lüğət kömək edə bilər: 4K sözlü tokenizer 8K və 16K-nı üstələyir. Wikipedia-nın XML işarələnməsinə özünəməxsus tokenlər vermək sıxışdırmanı pisləşdirdi. 267 milyon parametrli model bu verilənlər toplusunda 188 milyon parametrli modeldən bir qədər pis nəticə verdi və faylın 100 MB-lik versiyası ilə qazanclar təxminən 77 milyon parametrədə sabitləşdi. Daha böyük, altı qatlı oflayn modeldən başlayan iş daha yaxşı proqnoz verdi və 99,17 MB-lik faydalı yüklə nəticələndi, amma onun daha iri çəkiləri ümumi faylı yalnız onlayn işləyən versiyadan daha böyük etdi. Artıq işlənmiş mətnin əlavə öyrətmə üçün istifadə olunan pəncərəsini 15 milyon tokendən 35 milyon tokenə qədər genişləndirmək faydalı yükü cəmi 1,21 faiz azaltdı, amma hesablama xərcini 40 faiz artırdı. Tufa Labs-a görə, optimallaşdırma həmişə daha çox resurs əlavə etmək qədər sadə deyil və kompromislər gözləniləndən bahalı ola bilər. He altı qatlı kompromisi növbəti tədqiqat sualı kimi çərçivələyir: daha kiçik model nə qədər proqnoz keyfiyyətini saxlaya bilər və bu benchmark üçün yox olma nöqtəsi proqnoz keyfiyyəti ilə model ölçüsü arasında tarazlıqdır.
Mənbələr: Tom's Hardware
SiTech — AI ilə gücləndirilmiş veb hazırlanması
Sürətli və müasir saytlar qurur, AI-ı real biznes proseslərinə gətiririk. Layihəniz və ya sualınız var? Kömək etməyə hazırıq.