Geri Dön

Tufa Labs tufazip, 1 GB Wikipedia'yı kayıpsız olarak 105,39 MB'a sıkıştırdı
SiTech AI Team3 dk okuma

Tufa Labs tufazip, 1 GB Wikipedia'yı kayıpsız olarak 105,39 MB'a sıkıştırdı

Tufa Labs, tufazip'in el yapımı model kullanmadan ve kendinden öğrenen bir Transformer tahmincisiyle Wikipedia'nın 1 GB'ını kayıpsız olarak 105,39 MB'a sıkıştırdığını söylüyor; sıkıştırma ya da açma iki Nvidia B200 GPU ile yaklaşık bir hafta sürüyor.

Tufa Labs, tufazip sisteminin Wikipedia'nın 1 GB'ını kayıpsız olarak 105,39 MB'a sıkıştırdığını söylüyor. Yöntem, tek tahminci olarak 163 milyon parametreli bir Transformer kullanıyor ve el yapımı sıkıştırma modeli içermiyor. Bu, sinir ağını tek tahminci olarak kullanan girdiler arasında Large Text Compression Benchmark'taki en küçük sonuçtur.

tufazip nasıl çalışır

İyileştirme sonrası tam paket 105,39 MB'dır ve yer tasarrufu için düşük hassasiyette, yani kuantize edilmiş, saklanan 4,33 MB'lık küçük önceden eğitilmiş başlangıç modelini içerir; bu model dosyayı açmak için gereklidir. Tam model 12 katmanlı bir Transformer'dır; başlangıç modeli yalnızca iki önceden eğitilmiş aşamayı saklar ve tam model bellekte çalışmaya başladığında bunları 12 katmanı doldurmak için ileri geri kopyalar; her kopya kendi başına öğrenir. Bu, geleneksel sohbet botu veya bulut yapay zekası değil, anında öğrenen bağımsız bir dil modelidir; sıkıştırma kayıpsızdır, bu nedenle tahminci güncellemeleri tamamen deterministik olmalıdır. Eğitim iki aşamalıdır: sıkıştırma öncesi 34 milyon parametreli başlangıç modeli çevrimdışı eğitilir; ardından tam model her belirteci tahmin edip onunla eğitim yaparak çevrimiçi öğrenir; açma tarafı aynı adımları tekrarlayıp metinle modeli yeniden oluşturur. Toplam boyut; sıkıştırılmış metni, açma programını ve başlangıç modeli dahil gerekli dosyaları içerir, ancak tam eğitilmiş modeli içermez. Tufa Labs, bunun kendisini benchmark'ta şu anda üzerindeki 12 girdinin tümünden ayırdığını söylüyor; bu girdiler Transformer'ı el yapımı modellerle birleştiriyor.

Performans ve donanım gereksinimleri

Araştırmacı Tommy He tufazip'i geliştirdi; 19 Kasım 2026 tarihli araştırma yazısı sistemi tanıttı. Yalnızca çevrimiçi ilk sürüm Eylül başında gönderildiğinde ikinci sıradaydı; 105,39 MB'lık sürüm 19 Kasım güncellemesine göre 13. sıradaydı. Benchmark yalnızca metin içindir ve çalışma araştırma amaçlıdır, ürün değildir. Sıkıştırma ve açma, test makinesinde iki Nvidia B200 GPU ve iki Intel Xeon Platinum 8570 CPU gerektirir; çevrimdışı başlangıç eğitimi sayılmadan 631.548 ve 645.748 saniye, yani yaklaşık 7,3 ve 7,5 gün sürer. İlk sürüm 105,98 MB'dı ve 647.595 ile 630.136 saniye sürmüştü. GPU VRAM kullanımı ikisi arasında en fazla 43,37 GiB'a ulaştı; toplam bellek kullanımı GPU'lar dahil sıkıştırmada yaklaşık 68.525 MiB, açmada 73.748 MiB ile zirve yaptı. Karşılaştırma: cmix-neif 2.0, dört çekirdekli AMD Epyc 7B13'de sıkıştırmada 49,2 saat ve açmada 49,3 saatte 89,35 MB'a; DNA-4, eğitim dahil 19,8 saatte ve açmada 2,6 saatte Nvidia RTX 4090'da 105,55 MB'a; NNCP v3.2, Nvidia RTX 3090'da 67,2 ve 66,3 saatte 107,26 MB'a ulaştı.

Deneyler ve ödünleşimler

Deneyler daha küçük sözcük dağarcığının yardımcı olabileceğini gösterdi: 4K kelimelik belirteçleyici (tokenizer) 8K ve 16K'yı geçti. Wikipedia'nın XML işaretlemesine özel belirteçler vermek sıkıştırmayı kötüleştirdi. 267 milyon parametreli model bu veri kümesinde 188 milyon parametreli modelden biraz daha kötüydü; daha küçük 100 MB dosyada kazanımlar yaklaşık 77 milyon parametrede dengelendi. Altı katmanlı çevrimdışı modelden başlatılan çalıştırma 99,17 MB veri yüküyle daha iyi tahmin yaptı, ancak daha iri ağırlıklar toplam dosyayı çevrimiçi tek başına çalıştırmanın üstüne çıkardı. Zaten işlenmiş metnin ek eğitim penceresini 15 milyon belirteçten 35 milyona genişletmek, hesaplama maliyetini yüzde 40 artırma pahasına veri yükünü yalnızca yüzde 1,21 azalttı. Tufa Labs, optimizasyonun her zaman daha fazla kaynak eklemek kadar basit olmadığını, ödünleşimlerin beklenenden pahalı olabileceğini söylüyor. He, altı katmanlı ödünleşimi sonraki araştırma sorusu olarak çerçeveliyor: daha küçük model ne kadar tahmin niteliği koruyabilir ve kaybolma noktası bu benchmark için tahmin niteliği ile model boyutu dengesi olur.

Kaynaklar: Tom's Hardware

SiTech

SiTech — AI destekli web geliştirme

Hızlı ve modern web siteleri kuruyor, AI'yı gerçek iş akışlarına taşıyoruz. Projeniz veya sorunuz mu var? Yardımcı olmaktan mutluluk duyarız.