IBM Granite Switch 4.1 bir modeldə çatı, qərarları və danışığı birləşdirir

Çatı, qərarlar və danışıq üçün tək endpoint

IBM Granite Switch 4.1-i buraxdı — modullar model ailəsi, tək hostinq endpoint-dən təbii dildə çat, ümumi və ixtisaslı qərarlar qəbulu və danışığı mətnə çevirməyi emal edir. Granite-Switch-4.1-8B və Granite-Switch-4.1-30B modelləri bazas modelini üç komponentlə birləşdirir: ümumi təyinatlı qərarlar üçün yeni Decision aLoRA, təhlükəsizliklə bağlı tapşırıqlar üçün ixtisaslı Guardian aLoRA və Granite-Speech-5.0-Turbo-CTC — komanda onu OpenASR liderboardunda ən sürətli ASR modeli kimi təsvir edir.

Switch adapterləri cache baxımından effektiv Activated LoRA-lar kimi qurulduğu üçün, bazas modelinin generasiyası zamanı yaradılan KV cache istənilən sonrakı adapter əsaslı qərarlar üçün təkrar istifadə edilə bilər. vLLM-ın son əlavələri ilə birlikdə — aşağı rəngli adapterlərin inferensini və eyni vaxtda ASR kodlaşdırıcısı əhatə edən — modellər yüksək sürətlə çat, qərar və səsli sorğular arasında keçid edə bilər. IBM-in dediyinə görə, tam kompozisiya GPU-da təxminən eyni VRAM-i əhatə edir ki, bu yalnız bazas modeli üçün nəzərdə tutulandan daha azdır, bu da daha az GPU ilə daha çox imkan deməkdir.

Təhlükəsizlik qərarları və real vaxt yükləmələri

Guardian aLoRA təhlükəsizliklə bağlı qərar tapşırıqları üçün yaradılıb və, komandanın dediyinə görə, bu tapşırıqlarda əsasən Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions və Clef-Flash-dan üstün gəlir. 8B model audio transkripsiya, xülasələrin generasiyası, zərərli məzmunun skrini və 15-dən çox ümumi plagı yoxlamağı bacarır və bütün bunlar real vaxtda tək endpoint-də işləyir.

IBM həmçını birbaşa müqayisə nəticəsini açıqlayıb ki, ona əsasən Granite-Switch-4.1-30B — donmuş Granite bazası və dörd ixtisaslı aLoRA-dən ibarət — real dünyada beş mərhələli RAG iş axınını Jev-27B-dən əhəmiyyətli dərəcədə sürətli yerinə yetirib ki, bu da donmuş Qwen bazasını ümumi təyinatlı decision LoRA ilə birləşdirir. Komanda bildirir ki, adapterlər bazas modelinin KV cache-ini paylaşdığı üçün, ümumi təyinatlı qərar adapteri ilə birlikdə ixtisaslı adapterlərin əlavə edilməsi demək olar ki, heç nəyə xərclənmir, bu da ümumi adapterdən geniş əhatə və ixtisaslılardan daha yüksək dəqiqliklə hədəflənmiş tapşırıqlar imkanı verir.

Switch modellərinin qurulması və genişləndirilməsi

Buraxılan 8B və 30B modelləri əvvəlcədən təyin edilmiş adapterlər dəsti ilə gəlir, lakin IBM-in dediyinə görə, hər kəs Granite Libraries-dən adapterləri qarışdırmaq və birləşdirməklə öz Granite Switch modelini yarada bilər; bu, ixtisaslı qərarlar və tapşırıqlar adapterlər repozitoriyasıdır ki, Granite Switch-in ilk buraxılışı ilə birlikdə təqdim edilib. Komanda Adapter SDK-in adapterlərin təlimi üçün Mellea-da buraxılmasını, həmçinin dərsləri və Granite Switch-in daha geniş dəstəyini planlaşdırır.

Demonstrasiya üçün komanda öz 3B parametrli Granite Switch modelini yaradıb ki, bu klassik Doom oyununu oynayır. Jev kimi, model oyun daxilində naviqasiya üçün saniyənin hissələrində qərarları qəbul edir, lakin saniyədə 60-dan 100-ə qədər qərar sürəti ilə, Jev-in bildirdiyi saniyədə 10 qərar ilə müqayisədə. Jev-dən fərqli olaraq, Granite Switch model həmçinin oyun zamanı hekayə və suallara cavab verə bilər. IBM-in dediyinə görə, Granite Switch haqqında daha ətraflı məlumat və məlumatlar gələn həftələrdə dərc olunacaq.

Mənbələr: Hugging Face Blog