PrismML, yerel cihazlar için 1 bit ve üç değerli Bonsai Image 4B'yi yayınladı

PrismML, yerel donanımda — dizüstü bilgisayarlardan telefonlara kadar — difüzyon çıkarımı çalıştırmak üzere tasarlanmış kompakt görüntü üretim modelleri ailesi Bonsai Image 4B'yi yayınladı. Model iki sürümle geliyor: FP16 grup bazlı ölçekleme faktörüyle ikili {−1, +1} transformatör ağırlıkları kullanan 1 bit Bonsai Image 4B ve sıfır durumunu ekleyen {−1, 0, +1} ağırlıklı üç değerli sürüm.

İki sürüm neyi değiştiriyor

İkili sürüm, ağırlık başına 1,125 etkin bite ulaşıyor ve bellek baskısı, bant genişliği ile dağıtım boyutunun temel kısıt olduğu durumlarda en yüksek sıkıştırmayı hedefliyor. Üç değerli model 1,71 etkin bitte kalıyor; eklenen sıfır durumu temsil esnekliğini artırarak görsel kaliteyi ve istem sadakatini iyileştiriyor. Her iki model de FLUX.2 Klein 4B üzerine kurulu: mimari korunuyor, yalnızca transformatör ağırlıklarının gösterimi değişiyor.

Bellek ve dağıtım boyutu

4B sınıfı bir görüntü modelinde en büyük parça difüzyon transformatörü ve üretim sırasında defalarca çalışıyor; her gürültü giderme adımı transformatörü yeniden çağırıyor. Tam hassasiyette FLUX.2 Klein 4B transformatörü 7,75 GB yer kaplıyor. Bonsai bunu 1 bit sürümde 0,93 GB'a, yani 8,3 kat azaltıyor; üç değerli sürümde 1,21 GB'a, yani 6,4 kat. Hassasiyete duyarlı tensörlerin küçük bir bölümü, yaklaşık %5'i FP16 olarak kalıyor. Sıkıştırılmış metin kodlayıcı ve FP16 VAE dahil edildiğinde Apple Silicon dağıtım paketi 3,42 ve 3,88 GB; tam hassasiyette bu rakam 15,97 GB.

512x512 görselde ikili ve üç değerli modeller ortalama 1,5 ve 1,96 GB etkin bellek kullanıyor; özgün modelde bu 11,74 GB. 1024x1024'te rakamlar 1,95 ve 2,38 GB'a çıkarken karşılaştırma değeri 14,39 GB. Dağıtım yığını Apple Silicon iPhone, iPad ve Mac'lerde MLX düşük bit yollarını, CUDA GPU'larda ise Gemlite düşük bit GEMM çekirdeklerini kullanıyor.

Hız ve kıyaslamalar

Tam hassasiyetli hattın cihaz belleğine sığmadığı iPhone 17 Pro Max'te Bonsai 512x512 görseli 9,4 saniyede üretiyor; Mac M4 Pro'da süre yaklaşık 6 saniye ve standart tam hassasiyetli MFLUX hattından 5,6 kata kadar hızlı. PrismML modelleri GenEval, HPSv3 ve DPG-Bench üzerinde değerlendirdi: üç değerli sürüm transformatör boyutunu 6,4 kat küçültürken FLUX.2 Klein 4B doğruluğunun %95'ini koruyor, 1 bit sürüm ise transformatörü 1 GB'ın altına indirerek %88'ini tutuyor.

Kullanılabilirlik

Her iki sürüm de açık ağırlıklar ve Apache 2.0 lisanslı kodla, modeli doğrudan iPhone'da çalıştıran iOS uygulaması Bonsai Studio ile birlikte yayınlanacak. PrismML'ye göre Bonsai Image 4B, kendi parametre sınıfında doğrudan iPhone üzerinde çalışan ilk görüntü modeli. Şirket Caltech araştırmacılarından oluşan bir ekipten doğdu ve Khosla Ventures, Cerberus ile Google'ın desteğiyle kuruldu.