IBM Granite Switch 4.1 מאחד צ'אט, החלטות ודיבור במודל אחד

נקודת קצה אחת לצ'אט, החלטות ודיבור

IBM שיחררה את Granite Switch 4.1, משפחה של מודלים מודולריים, המעבד מנקודת קצה אחת צ'אט בשפה טבעית, החלטות כלליות ומומחות והמרה של דיבור לטקסט. Granite-Switch-4.1-8B ו-Granite-Switch-4.1-30B משלבים מודל בסיס עם שלושה רכיבים: Decision aLoRA החדשה להחלטות כלליות, Guardian aLoRA המומחה לאבטחה ו-Granite-Speech-5.0-Turbo-CTC, אותה הקבוצה מגדירה כמודל ה-ASR המהיר ביותר בלוח OpenASR.

מתאמי Switch הם LoRA פעילים יעילים מבחינת מטמון, ולכן את מטמון KV שנוצר בעת יצירת מודל הבסיס אפשר לנצל מאוחר יותר להחלטה של כל מתאם. עם תרומת האחרונה של vLLM להסקה של מתאמים בדרגה נמוכה, ועם שיתוף מיקום עם מקודד ASR, המודלים מתחלפים במהירות גבוהה בין צ'אט, החלטות ובקשות קוליות. לטענת IBM, ההרכב המלא על GPU צרך בערך את אותה כמות VRAM של מודל בסיס בלבד, כלומר יש יותר יכולת עם פחות GPU.

החלטות אבטחה ועומסים בזמן אמת

Guardian aLoRA נוצר עבור החלטות קשורות לאבטחה ולפי הקבוצה עולה בממוצע על Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions ו-Clef-Flash במשימות אלה. מודל 8B מסוגל לתמלל אודיו, לייצר סיכומים, לבדוק תוכן זדוני ולעבור יותר מ-15 מבחני ביצועים כלליים בזמן אמת, וכל זה בנקודת קצה אחת בזמן אמת.

IBM גם מצהירה על תוצאת השוואה ישירה, שבה Granite-Switch-4.1-30B, המורכב מתשתית Granite קפואה וארבעה aLoRA מומחים, משלים בהרבה מהר יותר זרימת עבודה של RAG בעלת חמישה שלבים בעולם אמיתי מאשר Jev-27B, שמקשר תשתית Qwen קפואה ל-Decision LoRA כללי אחד. הקבוצה מציינת שהמתאמים חולקים את מטמון KV של מודל הבסיס, ולכן הוספת מתאמי מומחה לצד מתאם Decision כללי כמעט אינה עולה כלום, מה שנותן כיסוי רחב יותר מהכללי ודיוק גבוה יותר מהמומחים במשימות היעד.

הרכבה והרחבה של מודלי Switch

למודלים 8B ו-30B ששוחררו מצורפים ערכות מוגדרות מראש של מתאמים, אם כי לטענת IBM כל אחד יכול ליצור מודל Granite Switch משלו מתוך ערבוב ובחירה של מתאמים מ-Granite Libraries; זאת מאגר מתאמים של החלטות מומחות ומשימות, שהושק יחד עם השקת Granite Switch המקורית. הקבוצה מתכננת לשחרר את Adapter SDK ב-Mellea לאימון מתאמים, הדרכה ותמיכה רחבה יותר ב-Granite Switch.

להדגמה הקבוצה בנתה מודל Granite Switch משלה עם 3B פרמטרים, שמשחק במשחק הקלאסי Doom. כמו Jev, המודל מקבל החלטות לניווט במשחק במאיות שנייה, אבל עם 60 עד 100 החלטות לשנייה, בהשוואה ל-10 ההחלטות שדווחו עבור Jev. בניגוד ל-Jev, מודל Granite Switch יכול גם לספק נרטיב בזמן המשחק ולענות על שאלות. לטענת IBM, הפרטים והנתונים של Granite Switch יפורסמו בשבועות הקרובים.

מקורות: Hugging Face Blog