PrismML випустила 1-бітну та тернарну Bonsai Image 4B для локальної генерації зображень

Компанія PrismML випустила Bonsai Image 4B — родину компактних моделей генерації зображень, розрахованих на локальну роботу: від ноутбуків до телефонів. Модель існує у двох варіантах: 1-бітна Bonsai Image 4B використовує бінарні ваги {−1, +1} з груповим коефіцієнтом масштабування у FP16, а тернарна додає нульовий стан — {−1, 0, +1}.

Що змінюють два варіанти

Бінарний варіант досягає 1,125 ефективного біта на вагу й орієнтований на максимальне стиснення — там, де головні обмеження це пам'ять, пропускна здатність і обсяг розгортання. Тернарна модель показує 1,71 ефективного біта: додатковий нульовий стан дає більше свободи представлення, покращуючи візуальну якість і точність виконання промпту. Обидві моделі побудовані на FLUX.2 Klein 4B: архітектура не змінилася, змінилася лише форма подання ваг трансформера.

Пам'ять і обсяг розгортання

У моделі класу 4B найбільша частина — це дифузійний трансформер, який під час генерації запускається багаторазово: кожен крок денойзингу знову викликає його. У повній точності трансформер FLUX.2 Klein 4B займає 7,75 ГБ. Bonsai скорочує це до 0,93 ГБ у 1-бітній версії — у 8,3 раза — і до 1,21 ГБ у тернарній, тобто у 6,4 раза. Невелика частина тензорів, чутливих до точності (близько 5%), залишається у FP16. Разом зі стисненим текстовим енкодером і FP16 VAE обсяг розгортання на Apple Silicon становить 3,42 та 3,88 ГБ проти 15,97 ГБ у повної точності.

Для зображення 512x512 бінарна й тернарна моделі споживають у середньому 1,5 та 1,96 ГБ активної пам'яті проти 11,74 ГБ в оригіналу; для 1024x1024 — 1,95 та 2,38 ГБ проти 14,39 ГБ. Стек розгортання підтримує iPhone, iPad і Mac на Apple Silicon через низькобітні шляхи MLX, а також CUDA-відеокарти через низькобітні GEMM-ядра Gemlite.

Швидкість і бенчмарки

На iPhone 17 Pro Max, де конвеєр повної точності не вміщується в пам'ять пристрою, Bonsai генерує зображення 512x512 за 9,4 секунди; на Mac M4 Pro — приблизно за 6 секунд і до 5,6 раза швидше за стандартний конвеєр MFLUX. PrismML перевірила моделі на GenEval, HPSv3 і DPG-Bench: тернарний варіант зберігає 95% точності FLUX.2 Klein 4B, скорочуючи трансформер у 6,4 раза, а 1-бітний — 88%, тримаючи трансформер нижче 1 ГБ.

Доступність

Обидва варіанти вийдуть із відкритими вагами та кодом під ліцензією Apache 2.0, разом із Bonsai Studio — iOS-застосунком для запуску моделі просто на iPhone. За словами PrismML, Bonsai Image 4B — перша модель зображень у своєму класі параметрів, що працює безпосередньо на iPhone. Компанія постала з команди дослідників Caltech і була заснована за підтримки Khosla Ventures, Cerberus і Google.