PrismML 9 dəfə kiçik Bonsai 2 27B modelini buraxdı

Kaliforniya Texnologiya İnstitutunun tədqiqatçılar qrupundan yaranmış PrismML şirkəti sentyabrın 17-də Ternary Bonsai 2 27B-ni buraxıb: Qwen3.8 27B əsasında qurulmuş multimodal model, törədiyi tam dəqiqlikli versiyadan qat-qat az yaddaş tələb edir. Şirkətin sözlərinə görə, bu, yerli cihazlarda işləmək üçün nəzərdə tutulan modellər sırasında ən böyük addımdır; ilk Bonsai 27B iki ay əvvəl çıxmışdı.

Model FP16 qrup üzrə miqyaslama ilə üç qiymətli çəkilərdən istifadə edir — mənfi bir, sıfır və ya bir — bu da hər çəki üçün 1,76 effektiv bit verir. Ümumi həcm 5,9 GB-dır, kontekst pəncərəsi 262 min tokenə çatır və model həm mətn, həm də şəkil girişini emal edir. Apache 2.0 lisenziyası ilə yayılır və çəkilər artıq əlçatandır.

Test nəticələri

Düşünmə, riyaziyyat, kod, təlimatların yerinə yetirilməsi, görmə və agent əsaslı alət istifadəsini əhatə edən test dəstində Ternary Bonsai 2 27B 83,9 bal toplayır və Qwen3.8 27B-nin ümumi göstəricisinin 98,2%-ni saxlayır. Müqayisə üçün tam dəqiqlikli Qwen3.8 27B 85,4, əvvəlki Qwen3.6 27B isə 83,6 bal göstərir.

Kateqoriyalar üzrə sıxılmış model xüsusilə təlimatların yerinə yetirilməsində öndədir: 82,66-ya qarşı tam dəqiqlikli versiyada 81,25 və Qwen3.6 27B-də 74,53. Riyaziyyat 96,57 (tam dəqiqlikdə 97,06), kod 81,58 (82,17), agent tapşırıqları və alət çağırışları 77,57 (79,74), bilik və düşünmə 83,95 (86,66), görmə isə 78,59 (81,64).

Sıxılma nə üçün vacibdir

PrismML-nin məlumatına görə, əvvəlki Bonsai 27B tam dəqiqlikli modelin göstəricisinin 95%-ni qoruyurdu, yeni versiya bu nisbəti 98%-dən yuxarı qaldırır və şirkət bunu praktik olaraq itkisiz adlandırır. Kod agentləri, alət əsaslı sistemlər, multimodal iş axınları və uzunmüddətli tapşırıqlar model deqradasiyasına xüsusilə həssasdır, çünki kiçik səhvlər çoxsaylı addımlarda yığılır. Şirkətin iddiasına görə, Bonsai 2 27B məhz bu sahələrdə qabiliyyətin böyük hissəsini qat-qat az yaddaşla saxlayır.

Sürət baxımından model NVIDIA GeForce RTX 5090-da saniyədə 143 tokenə, M5 Max-da isə 46,8 tokenə çatır. RTX 4090-da bir token üçün 0,714 mVt·saat sərf edir; PrismML-ə görə bu, tam dəqiqlikdə işləyən 8B modeldən 40% daha səmərəlidir. Model NVIDIA GPU-larında CUDA, Apple cihazlarında (Mac, iPhone, iPad) isə MLX vasitəsilə, xüsusi aşağı bit nüvələri ilə işləyir.

Arxa plan

Əvvəlki nəsil Bonsai 27B 2026-cı ilin iyulunda çıxmışdı: noutbuklar üçün 5,9 GB üç qiymətli versiya və iPhone 17 Pro üçün 3,9 GB 1 bit versiya, hər ikisi 262 min tokenlik kontekstlə. PrismML Khosla Ventures, Cerberus və Google dəstəyi ilə qurulduğunu, Samsung-un dəstəyinin isə davam etdiyini bildirir.