IBM Granite Switch 4.1, sohbeti, kararları ve konuşmayı tek modelde birleştiriyor

Sohbet, kararlar ve konuşma için tek uç nokta

IBM, tek bir uç noktadan doğal dil sohbetini, genel ve uzmanlaşmış kararları ve konuşmayı metne dönüştürmeyi işleyen modüler model ailesi Granite Switch 4.1'i yayınladı. Granite-Switch-4.1-8B ve Granite-Switch-4.1-30B, temel modeli üç bileşenle birleştirir: genel kararlar için yeni Decision aLoRA, güvenlik için uzmanlaşmış Guardian aLoRA ve ekibin OpenASR liderlik tablosunun en hızlı ASR modeli olarak nitelendirdiği Granite-Speech-5.0-Turbo-CTC.

Switch adaptörleri önbellek açısından verimli Activated LoRA'lar olduğundan, temel modelin üretimi sırasında oluşturulan KV önbelleği daha sonra herhangi bir adaptörün kararları için yeniden kullanılabilir. vLLM'in en son katkısıyla düşük sıralı adaptörlerin çıkarımı ve birlikte konumlandırılmış ASR kodlayıcısı ile modeller büyük bir hızla sohbet, kararlar ve sesli talepler arasında geçiş yapar. IBM'e göre, tam kompozisyon bir GPU'da yaklaşık olarak yalnızca temel modelin kapladığı kadar VRAM kaplar, yani daha az GPU ile daha fazla yetenek.

Güvenlik kararları ve gerçek zamanlı yükler

Guardian aLoRA, güvenlikle ilgili kararlar için oluşturulmuştur ve ekibine göre bu görevlerde ortalama olarak Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions ve Clef-Flash'ı aşar. 8B model, sesin transkripsiyonunu, özetlerin üretimini, zararlı içeriğin kontrolünü ve 15'ten fazla genel zaman testini gerçekleştirebilir ve tüm bunlar tek bir uç noktada gerçek zamanlı çalışır.

IBM ayrıca, dondurulmuş Granite temeli ve dört uzmanlaşmış aLoRA'dan oluşan Granite-Switch-4.1-30B'nin, dondurulmuş Qwen temelini tek bir genel Decision LoRA'ya bağlayan Jev-27B'den çok daha hızlı şekilde gerçek dünyada beş adımlı RAG iş akışını tamamladığını gösteren doğrudan karşılaştırma sonucunu da açıklıyor. Ekip, adaptörlerin temel modelin KV önbelleğini paylaştığını belirtiyor; bu nedenle uzman adaptörlerini genel Decision adaptörünün yanına eklemek neredeyse ek yük oluşturmaz, bu da genel adaptörden daha geniş kapsam ve uzmanlardan hedef görevlerde daha yüksek doğruluk sağlar.

Switch modellerini oluşturma ve genişletme

Yayınlanan 8B ve 30B modeller önceden tanımlanmış adaptör setleriyle birlikte gelir, ancak IBM'e göre herkes Granite Libraries'tan adaptörleri karıştırarak ve seçerek kendi Granite Switch modelini oluşturabilir; bu, orijinal Granite Switch sürümüyle birlikte yayınlanan uzmanlaşmış karar ve görev adaptörleri deposudur. Ekip, adaptörlerin eğitimi, ince ayarı ve Granite Switch'in daha geniş desteği için Adapter SDK'sını Mellea'da yayınlamayı planlıyor.

Demo amacıyla ekip, klasik Doom oyununu oynayan kendi 3B parametreli Granite Switch modelini oluşturdu. Jev gibi model, oyunda navigasyon için saniyenin binde birleri içinde kararlar alır, ancak saniyede 60 ila 100 karar alarak Jev'in bildirilen 10 kararıyla karşılaştırıldığında çok daha hızlıdır. Jev'den farklı olarak, Granite Switch modeli oyun sırasında anlatım yapabilir ve sorulara yanıt verebilir. IBM'e göre, Granite Switch'in detayları ve verileri önümüzdeki haftalarda yayınlanacak.

Kaynaklar: Hugging Face Blog