PrismML-მა Bonsai Image 4B წარადგინა — 1-ბიტიანი მოდელი სურათებს ლოკალურად აგენერირებს

კომპანია PrismML-მა წარადგინა Bonsai Image 4B — კომპაქტური სურათების გენერაციის მოდელების ოჯახი, რომელიც ლოკალურ აპარატურაზე მუშაობაზეა გათვლილი, ლეპტოპებიდან ტელეფონებამდე. მოდელი ორი ვარიანტით გამოდის: 1-ბიტიანი Bonsai Image 4B ბინარულ {−1, +1} წონებს იყენებს FP16 ჯგუფური მასშტაბირების კოეფიციენტთან ერთად, თერნარული ვარიანტი კი {−1, 0, +1} წონებს — დამატებითი ნულოვანი მდგომარეობით.

რას ცვლის ეს ორი ვარიანტი

ბინარული ვარიანტი ერთ წონაზე 1.125 ეფექტურ ბიტს აღწევს და მაქსიმალურ შეკუმშვაზეა ორიენტირებული — მაშინ, როცა მთავარი შეზღუდვა მეხსიერება, გამტარუნარიანობა და განლაგების მოცულობაა. თერნარული მოდელი 1.71 ეფექტურ ბიტს აჩვენებს; დამატებითი ნულოვანი მდგომარეობა მეტ მანევრის თავისუფლებას აძლევს და აუმჯობესებს ვიზუალურ ხარისხსა და პრომპტის შესრულების სიზუსტეს. ორივე მოდელი FLUX.2 Klein 4B-ის ბაზაზეა აწყობილი: არქიტექტურა უცვლელია, შეიცვალა მხოლოდ ტრანსფორმერის წონების წარმოდგენის ფორმა.

მეხსიერების მოხმარება

4B კლასის სურათების მოდელში ყველაზე დიდი ნაწილი დიფუზიური ტრანსფორმერია და გენერაციის დროს ის არაერთხელ ეშვება — ყოველი დენოიზინგის ნაბიჯი ტრანსფორმერს ხელახლა იძახებს. სრული სიზუსტით FLUX.2 Klein 4B-ის ტრანსფორმერი 7.75 გბ-ს იკავებს. Bonsai ამას 0.93 გბ-მდე ამცირებს 1-ბიტიან ვერსიაში — 8.3-ჯერ — და 1.21 გბ-მდე თერნარულში, ანუ 6.4-ჯერ. სიზუსტისადმი მგრძნობიარე ტენზორების მცირე ნაწილი, დაახლოებით 5%, FP16-ში რჩება. შეკუმშული ტექსტის ენკოდერისა და FP16 VAE-ის ჩათვლით, Apple Silicon-ზე განლაგების მოცულობა 3.42 და 3.88 გბ-ია, სრული სიზუსტის 15.97 გბ-ის წინააღმდეგ.

512x512 სურათისთვის ბინარული და თერნარული მოდელები საშუალოდ 1.5 და 1.96 გბ მეხსიერებას მოიხმარენ, ორიგინალის 11.74 გბ-ის ნაცვლად; 1024x1024-ზე — 1.95 და 2.38 გბ 14.39 გბ-ის წინააღმდეგ. განლაგების სტეკი მოიცავს Apple Silicon-ის iPhone-ებს, iPad-ებსა და Mac-ებს MLX-ის დაბალბიტიანი ბილიკებით, ასევე CUDA GPU-ებს Gemlite-ის დაბალბიტიანი GEMM ბირთვებით.

სიჩქარე და ბენჩმარკები

iPhone 17 Pro Max-ზე, სადაც სრული სიზუსტის კონვეიერი მოწყობილობის მეხსიერებაში არ ეტევა, Bonsai 512x512 სურათს 9.4 წამში აგენერირებს; Mac M4 Pro-ზე — დაახლოებით 6 წამში და 5.6-ჯერ უფრო სწრაფად, ვიდრე სრული სიზუსტის MFLUX კონვეიერი. PrismML-მა მოდელები GenEval, HPSv3 და DPG-Bench ბენჩმარკებზე შეამოწმა: თერნარული ვარიანტი FLUX.2 Klein 4B-ის სიზუსტის 95%-ს ინარჩუნებს ტრანსფორმერის 6.4-ჯერ შემცირებით, 1-ბიტიანი კი 88%-ს — ტრანსფორმერი ერთ გიგაბაიტზე დაბლაა.

ხელმისაწვდომობა

ორივე ვარიანტი ღია წონებითა და კოდით, Apache 2.0 ლიცენზიით გამოვა, Bonsai Studio-სთან ერთად — iOS აპლიკაცია, რომლითაც მოდელი iPhone-ზე პირდაპირ მუშაობს. PrismML-ის თქმით, Bonsai Image 4B პირველი სურათების მოდელია თავის პარამეტრულ კლასში, რომელიც iPhone-ზე პირდაპირ მუშაობს. კომპანია Caltech-ის მკვლევართა გუნდიდან გამოიყო და Khosla Ventures-ის, Cerberus-ისა და Google-ის მხარდაჭერით დაარსდა.