IBM Granite Switch 4.1 يجمع المحادثة والقرارات والكلام في نموذج واحد

نقطة نهاية واحدة للمحادثة والقرارات والكلام

أصدرت IBM عائلة النماذج المعيارية Granite Switch 4.1، والتي تعالج من نقطة استضافة واحدة المحادثة باللغة الطبيعية، واتخاذ القرارات العامة والمتخصصة، وتحويل الكلام إلى نص. يجمع النموذجان Granite-Switch-4.1-8B وGranite-Switch-4.1-30B النموذج الأساسي مع ثلاثة مكونات: Decision aLoRA الجديد للقرارات ذات الأغراض العامة، وGuardian aLoRA المتخصص للمهام المتعلقة بالأمان، وGranite-Speech-5.0-Turbo-CTC الذي تصفه الفريق بأنه أسرع نموذج ASR في ليدربورد OpenASR.

ونظرًا لأن محولات Switch مصممة كـ Activated LoRA فعالة من حيث الذاكرة المؤقتة، يمكن إعادة استخدام ذاكرة KV cache التي يتم إنشاؤها أثناء توليد النموذج الأساسي لأي قرار لاحق يعتمد على محول. ومع إضافات vLLM الأخيرة التي تشمل استدلال المحولات منخفضة الترميز ومشفر ASR المترافق، يمكن للنماذج التبديل بسرعة عالية بين المحادثة والقرارات والطلبات الصوتية. ووفقًا لـ IBM، فإن التركيبة الكاملة تشغل على GPU تقريبًا نفس الـ VRAM التي يحتاجها النموذج الأساسي وحده، مما يعني المزيد من الاحتمالات مع عدد أقل من GPUs.

قرارات الأمان وأعباء العمل في الوقت الفعلي

صُمم Guardian aLoRA لمهام اتخاذ القرارات المتعلقة بالأمان، ويتفوق في هذه المهام بمتوسط على Jev 1.13 وMicrosoft-Decision-1 وGPT-Luna-Decisions وClef-Flash. يمكن نموذج 8B التعامل مع نسخ الصوت، وتوليد الملخصات، وفحص المحتوى الضار، وأكثر من 15 إضافة عامة، وكل ذلك يعمل في الوقت الفعلي على نقطة نهاية واحدة.

تعلن IBM أيضًا عن نتائج مقارنة مباشرة تُظهر أن Granite-Switch-4.1-30B، المكون من قاعدة Granite مجمدة وأربعة محولات aLoRA متخصصة، نفذ سير عمل RAG خماسي الخطوات في العالم الحقيقي أسرع بكثير من Jev-27B الذي يجمع قاعدة Qwen المجمدة مع محول decision LoRA واحد للأغراض العامة. يشير الفريق إلى أنه نظرًا لأن المحولات تشترك في ذاكرة KV cache للنموذج الأساسي، فإن إضافة المحولات المتخصصة يكاد يكون مجانيًا تمامًا مقارنة بمحول القرارات العامة، مما يتيح تغطية واسعة من المحول العام ودقة أعلى من المتخصصين في المهام المستهدفة.

تكوين نماذج Switch وتوسيعها

تأتي النماذج 8B و30B المنشورة مع مجموعة محددة مسبقًا من المحولات، لكن وفقًا لـ IBM، يمكن لأي شخص بناء نموذج Granite Switch خاص به من خلال مزج ودمج المحولات من Granite Libraries؛ وهذا مستودع محولات القرارات والمهام المتخصص الذي قُدّم مع الإصدار الأول من Granite Switch. يخطط الفريق لإطلاق Adapter SDK في Mellea لتدريب المحولات، بالإضافة إلى دروس ودعم أوسع لـ Granite Switch.

للعرض التوضيحي، بنى الفريق نموذج Granite Switch خاصًا به بمعاملات 3B يلعب لعبة Doom الكلاسيكية. مثل Jev، يتخذ النموذج قرارات التنقل داخل اللعبة في أجزاء من الثانية، لكن بمعدل 60 إلى 100 قرار في الثانية مقارنة بـ 10 قرارات في الثانية ذكرها Jev. وعلى عكس Jev، يمكن لنموذج Granite Switch أيضًا السرد والإجابة على الأسئلة أثناء اللعب. ووفقًا لـ IBM، سيتم نشر المزيد من التفاصيل والبيانات حول Granite Switch في الأسابيع القادمة.

المصادر: Hugging Face Blog