PrismML 1-bit və üçlü Bonsai Image 4B-ni təqdim etdi: şəkillər yerli cihazlarda

PrismML şirkəti Bonsai Image 4B-ni təqdim edib — noutbuklardan telefonlara qədər yerli avadanlıqda diffuziya çıxarışı işlətmək üçün nəzərdə tutulmuş kompakt şəkil generasiyası modelləri ailəsi. Model iki versiyada buraxılır: FP16 qrup üzrə miqyaslama əmsalı ilə ikili {−1, +1} transformer çəkilərindən istifadə edən 1-bit Bonsai Image 4B və sıfır vəziyyətini əlavə edən üçlü {−1, 0, +1} versiya.

İki versiya nəyi dəyişir

İkili versiya hər çəki üçün 1,125 effektiv bitə çatır və yaddaş təzyiqi, ötürmə zolağı və yerləşdirmə həcminin əsas məhdudiyyət olduğu halda maksimum sıxılmaya yönəlib. Üçlü model 1,71 effektiv bitdə qalır; əlavə sıfır vəziyyəti təsvir çevikliyini artırır, vizual keyfiyyəti və prompt dəqiqliyini yaxşılaşdırır. Hər iki model FLUX.2 Klein 4B üzərində qurulub: arxitektura saxlanılır, yalnız transformer çəkilərinin təqdimat forması dəyişir.

Yaddaş və yerləşdirmə həcmi

4B sinif şəkil modelində ən böyük hissə diffuziya transformeridir və generasiya zamanı dəfələrlə işə düşür — hər denoizinq addımı onu yenidən çağırır. Tam dəqiqliklə FLUX.2 Klein 4B transformerinin həcmi 7,75 GB-dır. Bonsai bunu 1-bit versiyada 0,93 GB-a, yəni 8,3 dəfə azaldır; üçlü versiyada 1,21 GB-a, yəni 6,4 dəfə. Dəqiqliyə həssas tensorların kiçik hissəsi, təxminən 5%-i FP16-da qalır. Sıxılmış mətn kodlayıcısı və FP16 VAE daxil olmaqla Apple Silicon yerləşdirmə paketi 3,42 və 3,88 GB təşkil edir; tam dəqiqlik üçün bu rəqəm 15,97 GB-dır.

512x512 şəkil üçün ikili və üçlü modellər orta hesabla 1,5 və 1,96 GB aktiv yaddaş istifadə edir, orijinal modeldə isə 11,74 GB; 1024x1024 ölçüsündə rəqəmlər 1,95 və 2,38 GB, müqayisə dəyəri isə 14,39 GB-dır. Yerləşdirmə yığını Apple Silicon iPhone, iPad və Mac cihazlarında MLX-in aşağı bit yollarını, CUDA qrafik prosessorlarında isə Gemlite-in aşağı bit GEMM nüvələrini dəstəkləyir.

Sürət və bençmarklar

Tam dəqiqlikli boru xəttinin cihaz yaddaşına sığmadığı iPhone 17 Pro Max-da Bonsai 512x512 şəkli 9,4 saniyəyə yaradır; Mac M4 Pro-da bu müddət təxminən 6 saniyədir və standart tam dəqiqlikli MFLUX boru xəttindən 5,6 dəfəyə qədər sürətlidir. PrismML modelləri GenEval, HPSv3 və DPG-Bench üzrə qiymətləndirib: üçlü versiya transformerin həcmini 6,4 dəfə azaldaraq FLUX.2 Klein 4B dəqiqliyinin 95%-ni, 1-bit versiya isə transformer 1 GB-dan aşağı qalmaqla 88%-ni saxlayır.

Əlçatanlıq

Hər iki versiya açıq çəkilər və Apache 2.0 lisenziyalı kodla, modeli birbaşa iPhone-da işlədən Bonsai Studio iOS tətbiqi ilə birlikdə buraxılacaq. PrismML-in sözlərinə görə, Bonsai Image 4B öz parametr sinfində birbaşa iPhone üzərində işləyən ilk şəkil modelidir. Şirkət Caltech tədqiqatçılarından ibarət komandadan yaranıb və Khosla Ventures, Cerberus və Google-un dəstəyi ilə təsis edilib.