Needle 2: מודל סוכני בנפח 14MB לטלפונים, מכשירים לבישים ורובוטים

חברת Cactus Compute השיקה את Needle 2 — מודל פתוח עם 45 מיליון פרמטרים לקריאה לכלים, שימוש במכשירים וחילוץ נתונים מובנה. המודל כולו ארוז בקובץ בינארי יחיד בנפח 14MB ופועל בכ-28MB של זיכרון; לדברי החברה הוא מבוסס על Simple Attention Network, דחוס לקוונטיזציה CQ2 של 2 ביטים עם Cactus Quants וארוז במנוע ההסקה הייעודי שלו.

למה הוא מיועד

במקום שיחה חופשית, Needle 2 מתמקד בשתי משימות: התאמת המשפט של המשתמש לפונקציות שהאפליקציה חושפת — איזו פונקציה להפעיל ובאילו ארגומנטים — והפיכת טקסט לא מובנה לשדות מטיפוסים. הטיעון של החברה: ניסוח כזה אינו דורש ידע עולם או יצירת טקסט חופשי, ולכן 45 מיליון פרמטרים מספיקים במקום שבו צ'אט רגיל זקוק למיליארדי פרמטרים. קהל היעד: בית חכם, רובוטים, טלפונים, מכשירים לבישים, משקפי AR ורכב — חומרה בלי GPU או NPU, עם כמה עשרות מגה-בייט של זיכרון.

ביצועים

בבנצ'מרקים של קריאה לכלים ושימוש במכשירים ניידים, לפי החברה, Needle 2 מחליף ניצחונות עם מודלים גדולים בהרבה — FunctionGemma 270M, ‏LFM2.5 230M ו-Apple FM — אף שהוא קטן פי 5 עד 70 ופועל ב-2 ביטים מול 16 ביטים שלהם. ההשוואה מתבססת על פיצול ההערכה Mobile-Actions של גוגל (961 שורות), כאשר Needle 2 נמדד מקצה לקצה דרך הקובץ הבינארי ששוחרר.

נתוני מהירות: כ-500 טוקנים בשנייה בפענוח על Raspberry Pi 5 (ו-800+ טוקנים בשנייה בשלב ה-prefill); 400–1,500 טוקנים בשנייה במשקפי VR כמו Meta Quest 3S ו-Apple Vision Pro; ו-300–700 טוקנים בשנייה בטלפונים מתחת ל-200 דולר, כמו סדרת A של סמסונג. שיא הזיכרון של סשן הוא כ-28MB, ולכן המודל פועל גם על מיקרו-בקרים חדשים כמו ESP32-S3.

למה חומרה זולה

ההימור של Cactus הוא על חומרה זולה: החברה מזכירה שיש יותר מ-21 מיליארד מכשירי IoT לעומת כ-1.5 מיליארד מחשבים אישיים, שרוב הטלפונים בשווקים מתפתחים נמכרים בפחות מ-200 דולר, וכי כארבעה מכל חמישה מכשירי קצה עולים פחות מ-200 דולר. Needle 2 הוא שחרור פתוח, ובהכרזה מוצגים תרחישים לדוגמה: פקודות בית חכם, פעולות רב-שלביות של רובוטים, מילוי טפסים וחילוץ נתונים ממסמכים.