PrismML-მა Ternary Bonsai 2 27B გამოუშვა — 9-ჯერ მცირე ზომა 98,2%-იანი სიზუსტით

კალიფორნიის ტექნოლოგიური ინსტიტუტის მკვლევართა გუნდიდან გამოსულმა კომპანია PrismML-მა 17 სექტემბერს გამოუშვა Ternary Bonsai 2 27B — მრავალმოდალური მოდელი, რომელიც Qwen3.8 27B-ს ეფუძნება და სრული სიზუსტის ვერსიაზე 9-ჯერ ნაკლებ მეხსიერებას საჭიროებს. კომპანიის თქმით, ახალი ვერსია წინა Bonsai 27B-ის შემდეგ ყველაზე დიდი ნაბიჯია ლოკალურ მოწყობილობებზე გაშვებადი მოდელების ხაზში.

მოდელი იყენებს სამმნიშვნელობიან წონებს {−1, 0, +1} FP16 ჯგუფობრივი სკალირებით, რაც ერთ წონაზე 1,76 ეფექტურ ბიტს იძლევა. საერთო მოცულობა 5,9 გბ-ია, კონტექსტის ფანჯარა კი 262 ათას ტოკენს აღწევს. მოდელი მუშაობს ტექსტთან და სურათებთან ერთად და Apache 2.0 ლიცენზიით ვრცელდება.

შეფასებების შედეგები

მსჯელობის, მათემატიკის, კოდის, ინსტრუქციების შესრულების, ვიზიისა და აგენტური ხელსაწყოების გამოყენების ტესტებში Ternary Bonsai 2 27B-მა 83,9 ქულა მიიღო და Qwen3.8 27B-ის საერთო შედეგის 98,2% შეინარჩუნა. შედარებისთვის, Qwen3.8 27B აჩვენებს 85,4 ქულას, წინა თაობის Qwen3.6 27B კი 83,6-ს.

კატეგორიების მიხედვით მოდელი განსაკუთრებით ძლიერია ინსტრუქციების შესრულებაში — 82,66 ქულა სრული სიზუსტის ვერსიის 81,25-ის წინააღმდეგ, მაშინ როცა Qwen3.6 27B მხოლოდ 74,53-ს აღწევს. მათემატიკაში შედეგი 96,57-ია (სრული ვერსია — 97,06), კოდში — 81,58 (82,17), აგენტურ ამოცანებსა და ხელსაწყოების გამოძახებაში — 77,57 (79,74), ცოდნასა და მსჯელობაში — 83,95 (86,66), ვიზიაში კი — 78,59 (81,64).

რატომ აქვს კომპრესიას მნიშვნელობა

კომპანიის მიხედვით, წინა Bonsai 27B სრული სიზუსტის მოდელის შედეგების 95%-ს ინარჩუნებდა, ახლა ეს მაჩვენებელი 98%-ზე მეტია. PrismML-ის შეფასებით, სწორედ კოდის აგენტები, ხელსაწყოებზე დაფუძნებული სისტემები და გრძელი ამოცანების ჯაჭვები ყველაზე მგრძნობიარეა დეგრადაციის მიმართ, რადგან მცირე შეცდომები ბევრ საფეხურზე გროვდება. ამ სფეროებში Bonsai 2 27B სრული მოდელის შედეგების დიდ ნაწილს ინარჩუნებს და ბევრად ნაკლებ მეხსიერებას საჭიროებს.

სიჩქარის მხრივ მოდელი NVIDIA GeForce RTX 5090-ზე წამში 143 ტოკენამდე აღწევს, M5 Max-ზე კი 46,8 ტოკენს. RTX 4090-ზე ის ერთ ტოკენზე 0,714 მვტ/სთ-ს მოიხმარს, რაც სრული სიზუსტის 8B მოდელზე 40%-ით ენერგოეფექტურია. მოდელი მუშაობს NVIDIA-ის GPU-ებზე CUDA-ს მეშვეობით და Apple-ის მოწყობილობებზე (Mac, iPhone, iPad) MLX-ით, სპეციალური დაბალბიტიანი ბირთვების გამოყენებით.

კონტექსტი

PrismML წინა Bonsai 27B ვერსია 2026 წლის ივლისში გამოუშვა: მაშინ კომპანიამ აჩვენა ternary ვერსია ლეპტოპებისთვის 5,9 გბ-ში და 1-ბიტიანი ვერსია iPhone 17 Pro-სთვის 3,9 გბ-ში, იმავე 262-ათასტოკენიანი კონტექსტით. კომპანია Caltech-ის მკვლევართა გუნდიდან გამოიზარდა და მას Khosla Ventures, Cerberus და Google მხარს უჭერენ, Samsung-ის მუდმივი მხარდაჭერით.