IBM Granite Switch 4.1 об'єднує в одній моделі чат, рішення та мовлення

Один endpoint для чату, рішень та мовлення

IBM випустила Granite Switch 4.1, сімейство модульних моделей, яке з одного хостингового endpoint обробляє чат природною мовою, загальні та спеціалізовані рішення та перетворення мовлення на текст. Моделі Granite-Switch-4.1-8B та Granite-Switch-4.1-30B об'єднують базову модель з трьома компонентами: новий Decision aLoRA для загального призначення рішень, спеціалізований Guardian aLoRA для завдань, пов'язаних з безпекою, та Granite-Speech-5.0-Turbo-CTC, який команда описує як найшвидшу ASR модель на лідерборді OpenASR.

Оскільки адаптери Switch побудовані як ефективні Activated LoRA з точки зору кешу, KV cache, створений під час генерації базової моделі, може бути повторно використаний для будь-яких наступних рішень на основі адаптера. Разом з останніми доповненнями vLLM, які включають інференс низькорангових адаптерів і суміжний ASR-енкодер, моделі можуть з високою швидкістю перемикатися між чатом, рішеннями та голосовими запитами. За словами IBM, повна композиція на GPU займає приблизно той самий обсяг VRAM, що й лише базова модель, що означає більше можливостей з меншою кількістю GPU.

Рішення безпеки та навантаження в реальному часі

Guardian aLoRA створений для завдань рішень, пов'язаних із безпекою, і, за словами команди, в середньому перевершує Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions та Clef-Flash у цих завданнях. Модель 8B може транскрибувати аудіо, генерувати резюме, скринінгувати шкідливий контент і перевіряти понад 15 загальних плагінів, і все це працює в реальному часі на одному endpoint.

IBM також заявляє про результат прямого порівняння, згідно з яким Granite-Switch-4.1-30B, що складається з замороженої бази Granite та чотирьох спеціалізованих aLoRA, виконав п'ятиетапний RAG робочий процес значно швидше, ніж Jev-27B, який об'єднує заморожену базу Qwen з одним decision LoRA загального призначення. Команда зазначає, що оскільки адаптери діляться KV cache базової моделі, додавання спеціалізованих адаптерів разом із адаптером рішень загального призначення майже нічого не коштує, що дає широке покриття від загального адаптера та вищу точність від спеціалістів на цільових завданнях.

Склад моделей Switch та розширення

Випущеним моделям 8B та 30B супроводжує попередньо визначений набір адаптерів, однак, за словами IBM, будь-хто може створити власну модель Granite Switch з Granite Libraries шляхом змішування та поєднання адаптерів; це репозиторій адаптерів для спеціалізованих рішень та завдань, який було представлено разом із першим випуском Granite Switch. Команда планує випустити Adapter SDK у Mellea для навчання адаптерів, а також уроки та ширшу підтримку Granite Switch.

Для демонстрації команда створила власну модель Granite Switch на 3B параметрів, яка грає в класичну гру Doom. Як і Jev, модель приймає рішення для навігації в грі з частотою в частках секунди, проте з частотою 60-100 рішень на секунду, порівняно з 10 рішеннями на секунду, про які повідомляв Jev. На відміну від Jev, модель Granite Switch також може розповідати під час гри та відповідати на запитання. За словами IBM, більше деталей і даних про Granite Switch буде опубліковано на наступних тижнях.

Джерела: Hugging Face Blog