PrismML משחררת את Bonsai 2 27B — קטן פי תשעה עם כמעט אותם ציונים

חברת PrismML, שצמחה מצוות חוקרים במכון הטכנולוגי של קליפורניה, שחררה ב-17 בספטמבר את Ternary Bonsai 2 27B — מודל מולטימודלי המבוסס על Qwen3.8 27B, שדורש זיכרון קטן בהרבה מהגרסה במדיוק מלא שממנה נגזר. לדברי החברה, זהו הצעד הגדול ביותר עד כה בסדרת המודלים שנועדו לרוץ על מכשירים מקומיים, לאחר שחרור Bonsai 27B הראשון כחודשיים קודם לכן.

המודל משתמש במשקולות טרנריות — ערכים של מינוס אחת, אפס או אחת — עם סקיילינג קבוצתי ב-FP16, שמעניק 1.76 ביטים אפקטיביים לכל משקולת. הנפח הכולל הוא 5.9GB, חלון ההקשר מגיע ל-262 אלף טוקנים, והמודל מטפל בקלט טקסטואלי ותמונתי. הוא מופץ ברישיון Apache 2.0 והמשקולות זמינות כבר עכשיו.

תוצאות המבחנים

במערך מבחנים הכולל הסקה, מתמטיקה, קוד, ביצוע הוראות, ראייה ושימוש בכלים סוכניים, Ternary Bonsai 2 27B משיג 83.9 ושומר על 98.2% מהביצועים המצטברים של Qwen3.8 27B. לשם השוואה: Qwen3.8 27B במדיוק מלא משיג 85.4, ואילו Qwen3.6 27B הקודם — 83.6.

לפי קטגוריות, בביצוע הוראות המודל הדחוס דווקא מוביל: 82.66 לעומת 81.25 במדיוק מלא ו-74.53 ב-Qwen3.6 27B. במתמטיקה — 96.57 (97.06 במדיוק מלא), בקוד — 81.58 (82.17), במשימות סוכניות וקריאה לכלים — 77.57 (79.74), בידע והסקה — 83.95 (86.66), ובראייה — 78.59 (81.64).

למה הדחיסה חשובה

PrismML מדווחת שהשחרור הקודם, Bonsai 27B, שמר על 95% מביצועי המודל במדיוק מלא, והגרסה החדשה מעלה את השימור מעל 98% — מה שהחברה מכנה כמעט חסר אובדן. סוכני קוד, מערכות מבוססות כלים, תהליכים מולטימודליים ומשימות ארוכות טווח רגישים במיוחד לשחיקת המודל, מפני ששגיאות קטנות מצטברות לאורך שלבים רבים, ולטענת החברה דווקא בתחומים האלה Bonsai 2 27B שומר על רוב היכולת בנפח זיכרון קטן בהרבה.

במהירות, המודל מגיע עד 143 טוקנים לשנייה על NVIDIA GeForce RTX 5090 ו-46.8 טוקנים לשנייה על M5 Max. על RTX 4090 הוא צורך 0.714 mWh לטוקן, מה שלפי PrismML הופך אותו לחסכוני ב-40% באנרגיה ממודל בן 8B במדיוק מלא. הוא רץ על מעבדים גרפיים של NVIDIA דרך CUDA ועל מכשירי Apple — Mac, iPhone ו-iPad — דרך MLX, בעזרת ליבות ייעודיות לדיוק נמוך.

רקע

הדור הקודם, Bonsai 27B, הושק ביולי 2026: גרסה טרנרית בנפח 5.9GB למחשבים ניידים וגרסה ב-1 ביט בנפח 3.9GB ל-iPhone 17 Pro, שתיהן עם חלון הקשר של 262 אלף טוקנים. PrismML מוסרת שהוקמה בתמיכת Khosla Ventures, Cerberus ו-Google, עם תמיכה מתמשכת של Samsung.