Liquid AI משיקה דראפטר DSpark להאצת מודלים חזותיים-לשוניים

ב-24 בספטמבר הציגה Liquid AI מודל דראפט ניסיוני בשם DSpark עבור המודל החזותי-לשוני שלה LFM2.5-VL-3B. המודל מוסיף מסלול פענוח ספקולטיבי, שמחליף תוספת קטנה של זיכרון בתאוצה גדולה יותר, ואינו משנה את איכות הפלט.

מה נותן הדראפטר

על פי המדידות של Liquid AI, הפענוח מהיר עד פי 3.13 במכשיר ועד פי 2.66 ב-H100, והשהיה מקצה לקצה משתפרת עד פי 2.62 ופי 2.27. הדראפטר מוסיף כ-280 מיליון פרמטרים, כלומר 8.9% על גבי מודל ה-3B, והתמיכה ב-llama.cpp, ב-MLX-VLM וב-SGLang זמינה מהיום הראשון.

איך עובד פענוח ספקולטיבי במודלים חזותיים

הדראפטר החזותי משתמש באותה ארכיטקטורה כמו דראפטרי LFM2.5-DSpark הטקסטואליים של Liquid AI: הוא קורא את המצבים הנסתרים של מודל היעד בשכבות נבחרות ומנסח על פיהם בלוק של k טוקנים מוצעים. חלקי התמונה והטוקנים של הטקסט מוקרנים לייצוג משותף, ולכן הדראפטר פועל על וקטורים באותו מימד ללא תלות בסוג הקלט.

האימון בוצע לפי מתכון DSpark על נתוני SFT חזותיים-לשוניים: לאחר השוואה בין 3, 4 ו-5 שכבות נבחר דראפטר פשוט עם 4 שכבות שמבוסס רק על מנגנון קשב, בגודל בלוק של 9. בסך הכול כולל הדראפטר כ-279.5 מיליון פרמטרים.

האצה במכשיר וב-H100

המדידות נעשו בגודל בלוק של 8 ובשש משימות חזותיות לפי מדד MMSpec, מ-VQA כללי ותיאור תמונות ועד VQA על תרשימים ושיחה מרובת סבבים. עם MLX על M5 Max הפענוח מהיר פי 2.30 עד פי 3.13, והשהיה מקצה לקצה משתפרת פי 1.56 עד פי 2.62. עם llama.cpp על M3 Ultra הפענוח משתפר פי 1.57 עד פי 2.14 והזמן הכולל פי 1.30 עד פי 1.77. ב-H100 הפענוח מהיר עד פי 2.66, והשהיה הכוללת משתפרת פי 1.64 עד פי 2.27.

היכן הספקולציה מפסיקה לעזור

פענוח ספקולטיבי מאיץ רק את שלב הפענוח, ולא את קידוד התמונה או את שלב המילוי המוקדם. התמונה עוברת תחילה מקודד חזותי, ואחר כך עמוד השדרה הלשוני מעבד מאות טוקנים חזותיים יחד עם ההנחיה הטקסטואלית, ובמכשירי קצה שלב זה תופס חלק גדול יותר מהזמן. כאשר שלבים אלה כבר צורכים חלק ניכר מהזמן, גם האצה גדולה של הפענוח מניבה שיפור מתון בלבד. Liquid AI מסבירה זאת בחוק אמדל.

הדראפטר זמין ב-Hugging Face בפורמטים Safetensors ו-GGUF, ונדרשים בילדים של llama.cpp, MLX-VLM ו-SGLang עם תמיכה ב-DSpark. הפענוח הספקולטיבי מדויק לחלוטין: מודל היעד מאמת כל טוקן מוצע, ולכן במצב חמדני הפלט זהה לזה של מודל היעד לבדו.