PrismML випустила Bonsai 2 27B — модель у 9 разів менша з майже повними результатами

Компанія PrismML, що виросла з команди дослідників Каліфорнійського технологічного інституту, 17 вересня випустила Ternary Bonsai 2 27B — мультимодальну модель на базі Qwen3.8 27B, яка потребує значно менше пам'яті, ніж повноточна версія, від якої вона походить. За словами компанії, це найбільший крок у лінійці моделей, призначених для запуску на локальних пристроях, після першого випуску Bonsai 27B двома місяцями раніше.

Модель використовує тернарні ваги — значення мінус один, нуль або один — з груповим масштабуванням у FP16, що дає 1,76 ефективних біта на вагу. Загальний обсяг становить 5,9 ГБ, контекстне вікно сягає 262 тис. токенів, а вхідні дані можуть бути текстовими та зображувальними. Модель поширюється за ліцензією Apache 2.0, ваги вже доступні.

Результати бенчмарків

У наборі тестів, що охоплює міркування, математику, код, виконання інструкцій, зір і агентне використання інструментів, Ternary Bonsai 2 27B набирає 83,9 бала й утримує 98,2% сукупної продуктивності Qwen3.8 27B. Для порівняння: повноточна Qwen3.8 27B має 85,4, а попередня Qwen3.6 27B — 83,6.

За категоріями стиснута модель випереджає повноточну у виконанні інструкцій: 82,66 проти 81,25 і 74,53 у Qwen3.6 27B. Математика — 96,57 (97,06 у повноточної), код — 81,58 (82,17), агентні завдання та виклик інструментів — 77,57 (79,74), знання й міркування — 83,95 (86,66), зір — 78,59 (81,64).

Чому стиснення має значення

PrismML повідомляє, що попередній випуск Bonsai 27B зберігав 95% продуктивності повноточної моделі, а нова версія піднімає цей показник вище 98%, що компанія називає практично втратою без втрат. Кодові агенти, системи на інструментах, мультимодальні процеси та довгі ланцюги завдань найчутливіші до деградації моделі, бо дрібні помилки накопичуються протягом багатьох кроків, і саме в цих сферах Bonsai 2 27B зберігає більшість можливостей за частки пам'яті.

За швидкістю модель видає до 143 токенів за секунду на NVIDIA GeForce RTX 5090 і 46,8 токена за секунду на M5 Max. На RTX 4090 вона споживає 0,714 мВт·год на токен, що, за даними PrismML, робить її на 40% енергоефективнішою за модель на 8B параметрів у повній точності. Вона працює на графічних процесорах NVIDIA через CUDA і на пристроях Apple — Mac, iPhone та iPad — через MLX, використовуючи власні ядра для низької розрядності.

Передісторія

Попереднє покоління, Bonsai 27B, з'явилося в липні 2026 року: тернарна збірка обсягом 5,9 ГБ для ноутбуків і 1-бітна збірка обсягом 3,9 ГБ для iPhone 17 Pro, обидві з контекстом на 262 тис. токенів. PrismML зазначає, що заснована за підтримки Khosla Ventures, Cerberus і Google, а Samsung продовжує її підтримувати.