Назад

Tufa Labs tufazip стискає 1 ГБ Вікіпедії до 105,39 МБ без втрат
SiTech AI Team3 хв читання

Tufa Labs tufazip стискає 1 ГБ Вікіпедії до 105,39 МБ без втрат

Tufa Labs каже, що tufazip без втрат стиснув 1 ГБ Вікіпедії до 105,39 МБ за допомогою самонавчального предиктора Transformer без ручно створених моделей, але для цього потрібні дві Nvidia B200 GPU приблизно на тиждень.

Tufa Labs каже, що її система tufazip без втрат стиснула 1 ГБ Вікіпедії до 105,39 МБ. Метод використовує Transformer зі 163 мільйонами параметрів як єдиний предиктор і не використовує ручно створену модель стискання. Це найменший результат у Large Text Compression Benchmark серед записів, де нейронна мережа є єдиним предиктором.

Як працює tufazip

Повний пакет після оптимізації становить 105,39 МБ і включає невелику попередньо навчену стартову модель обсягом 4,33 МБ, збережену в низькій точності, або квантизовану, щоб зекономити місце; цей стартовий компонент потрібен для розпакування файлу. Повна модель є 12-шаровим Transformer, тоді як стартова зберігає лише два вже навчені етапи й копіює їх туди-сюди, щоб заповнити всі 12 після запуску повної моделі в пам'ять; кожна копія продовжує навчатися самостійно. Це самодостатня мовна модель, яка навчається на ходу, а не звичайний чат-бот або хмарний ШІ, а стискання без втрат означає, що оновлення предиктора мають бути повністю детермінованими. Навчання відбувається у два етапи: стартова модель з 34 мільйонами параметрів навчається офлайн до початку стискання, потім повна модель навчається онлайн, передбачаючи кожний токен і навчаючись на ньому, а сторона розпакування повторює ті самі кроки й відновлює модель разом із текстом. Загальний розмір включає стиснутий текст, програму розпакування та потрібні файли, зокрема стартову модель, але не повну навчену модель. Tufa Labs каже, що це відрізняє його від усіх 12 записів, які зараз вище за нього в рейтингу бенчмарку, оскільки вони поєднують Transformer із ручно створеними моделями.

Продуктивність і вимоги до апаратного забезпечення

Дослідник Tommy He створив tufazip, а дослідницький пост від 19 листопада 2026 року представив його. Його перша версія лише для онлайн-навчання посіла друге місце при поданні на початку вересня; версія на 105,39 МБ була 13-ю станом на оновлення бенчмарку 19 листопада. Бенчмарк стосується лише тексту, а робота має дослідницьку мету, а не є продуктом. Стискання й розпакування потребували б двох GPU Nvidia B200 і двох CPU Intel Xeon Platinum 8570 у тестовій машині й тривали б 631 548 і 645 748 секунд, або приблизно 7,3 і 7,5 днів, не рахуючи офлайн-навчання стартової моделі. Перша версія обсягом 105,98 МБ тривала 647 595 і 630 136 секунд. Пікове використання VRAM GPU становило 43,37 GiB між ними, а загальне використання пам'яті, включно з GPU, піково становило приблизно 68 525 MiB під час стискання та 73 748 MiB під час розпакування. Для порівняння, cmix-neif 2.0 досяг 89,35 МБ на AMD Epyc 7B13 з чотирма ядрами за 49,2 години стискання та 49,3 години розпакування; DNA-4 досяг 105,55 МБ на Nvidia RTX 4090 за 19,8 години, включно з навчанням, і 2,6 години розпакування; NNCP v3.2 досяг 107,26 МБ на Nvidia RTX 3090 за 67,2 і 66,3 години.

Експерименти і компроміси

Експерименти показують, що менший словник може допомогти: токенізатор на 4K слів перевершує і 8K, і 16K. Надання XML-розмітки Вікіпедії власних виділених токенів погіршило стискання. Модель з 267 мільйонами параметрів трохи поступилася моделі з 188 мільйонами параметрів на цьому наборі даних, а з меншою версією файлу на 100 МБ приріст вирівнявся приблизно на 77 мільйонах параметрів. Запуск із більшої шестишарової офлайн-моделі давав краще передбачення з корисним навантаженням 99,17 МБ, але її важчі ваги зробили загальний файл більшим, ніж у версії лише з онлайн-навчанням. Розширення вікна вже обробленого тексту, який використовували для додаткового навчання, з 15 до 35 мільйонів токенів зменшило корисне навантаження лише на 1,21 відсотка ціною 40 відсотків додаткових обчислень. Tufa Labs показує, що оптимізація не завжди така проста, як додавання більше ресурсів, а компроміси можуть бути дорожчими, ніж очікували. He розглядає компроміс із шістьма шарами як наступне дослідницьке питання: скільки передбачувальної якості може зберегти менша модель, роблячи точку зникнення балансом між передбачувальною якістю і розміром моделі для цього бенчмарку.

Джерела: Tom's Hardware

Поділитися цифровим досвідом

SiTech

SiTech — веброзробка з підтримкою AI

Створюємо швидкі та сучасні сайти й інтегруємо AI у бізнес-процеси. Маєте проєкт чи запитання? Із задоволенням допоможемо.