PrismML מביאה את מודלי השפה הזעירים שלה למשקפיים חכמים מבוססי Qualcomm

מעבדת ה-AI ‏PrismML, שנוסדה על ידי חוקרים מ-Caltech ובהנחייתו של יון סטויקה מ-UC Berkeley, פיתחה גרסה של מודלי השפה הזעירים שלה למשקפיים חכמים שמבוססים על שבבי Snapdragon של קוואלקום.

מה קוואלקום הציגה בפסגת סנאפדרגון

ביום רביעי, בפסגת סנאפדרגון של קוואלקום, הציגה החברה את Bonsai LLM של PrismML — דגם בן סיבית אחת שיכול לרוץ מקומית על משקפיים חכמים שנבנו על פלטפורמת Snapdragon AR1 Gen 1. מדובר במודל בן 2 מיליארד פרמטרים שכוונן לראייה ולשפה, כך שהעונדים יכולים לשאול בזמן אמת על מה הם מסתכלים.

קטן פי 4 — הביצועים כמעט זהים

כפי שדווח קודם ב-TechCrunch, היתרון המרכזי של PrismML הוא דחיסה: החברה מכווצת מודלים גדולים באופן ניכר — פי 4 במקרה הזה — תוך שמירה כמעט מלאה על הביצועים שלהם במבחנים סטנדרטיים.

משקולות פתוחות מול הענן

המטרה הגדולה של PrismML היא AI במשקולות פתוחות שרץ על המכשירים ומנצל טוב יותר את כוח החישוב שכבר קיים בהם. הסטארטאפ מציג זאת כחלופה להסתמכות על הבטחות הפרטיות של מעבדות AI קנייניות והצורך הבלתי פוסק שלהן בעוד כוח חישוב. שחרור מודל לשבב של קוואלקום הוא צעד לקראת החזון הזה, אך משקפיים שמריצים PrismML טרם הוכרזו.