Bonsai 27B — מודל AI עם 27 מיליארד פרמטרים שרץ על טלפון

פריצת דרך בצפיפות האינטליגנציה

PrismML הכריזה על Bonsai 27B, מודל AI עם 27 מיליארד פרמטרים שיכול לרוץ ישירות על טלפון. מודל זה משתמש במשקולות טרנריות עם קנה מידה קבוצתי FP16, מה שמאפשר לו לשמור על יכולת חשיבה באיכות גבוהה תוך תפיסת נפח אחסון של 5.9 ג׳יגה-בייט בלבד.

גרסת 1-ביט (~3.5 ג׳יגה-בייט) רצה ישירות על אייפון 17 פרו מקס. משמעות הדבר היא שמודל עם יכולת חשיבה רב-שלבית, קריאה לפונקציות מובנות ויכולות AI אוטונומיות יכול לעבוד על מכשירים שאנשים כבר מחזיקים.