IBM Granite Switch 4.1 ერთ მოდელში აერთიანებს ჩატს, გადაწყვეტილებებსა და მეტყველებას

ერთი endpoint ჩატისთვის, გადაწყვეტილებებისთვის და მეტყველებისთვის

IBM-მ გამოუშვა Granite Switch 4.1, მოდულური მოდელების ოჯახი, რომელიც ერთი ჰოსტინგული endpoint-იდან ამუშავებს ბუნებრივ ენაზე ჩატს, ზოგად და სპეციალიზებულ გადაწყვეტილებების მიღებასა და მეტყველების ტექსტად გადაქცევას. Granite-Switch-4.1-8B და Granite-Switch-4.1-30B მოდელები აერთიანებენ ბაზისურ მოდელს სამ კომპონენტთან: ახალ Decision aLoRA-ს ზოგადი დანიშნულების გადაწყვეტილებებისთვის, სპეციალიზებულ Guardian aLoRA-ს უსაფრთხოებასთან დაკავშირებული ამოცანებისთვის და Granite-Speech-5.0-Turbo-CTC-ს, რომელსაც გუნდი OpenASR-ის ლიდერბორდზე ყველაზე სწრაფ ASR მოდელად აღწერს.

რადგან Switch-ის ადაპტერები cache-ის მხრივ ეფექტურ Activated LoRA-ებად არის აგებული, ბაზისური მოდელის გენერაციის დროს შექმნილი KV cache შეიძლება ხელახლა გამოყენებულ იქნას ნებისმიერი მომდევნო ადაპტერზე დაფუძნებული გადაწყვეტილებისთვის. vLLM-ის ბოლო დამატებებთან ერთად, რომლებიც დაბალრანგიანი ადაპტერების ინფერენსსა და თანამდებარე ASR ენკოდერს მოიცავს, მოდელებს შეუძლიათ მაღალი სიჩქარით გადაერთონ ჩატს, გადაწყვეტილებასა და ხმოვან მოთხოვნებს შორის. IBM-ის თქმით, სრული კომპოზიცია GPU-ზე დაახლოებით იმავე VRAM-ს იკავებს, რასაც მხოლოდ ბაზისური მოდელი, რაც ნიშნავს მეტ შესაძლებლობას ნაკლები GPU-ით.

უსაფრთხოების გადაწყვეტილებები და რეალურ დროში დატვირთვები

Guardian aLoRA უსაფრთხოებასთან დაკავშირებული გადაწყვეტილების ამოცანებისთვისაა შექმნილი და, გუნდის თქმით, ამ ამოცანებში საშუალოდ აჯობებს Jev 1.13-ს, Microsoft-Decision-1-ს, GPT-Luna-Decisions-სა და Clef-Flash-ს. 8B მოდელს შეუძლია აუდიოს ტრანსკრიბირება, შეჯამებების გენერაცია, მავნე კონტენტის სკრინინგი და 15-ზე მეტი ზოგადი ფლაგის შემოწმება, და ეს ყველაფერი ერთ endpoint-ზე რეალურ დროში მუშაობს.

IBM ასევე აცხადებს პირდაპირი შედარების შედეგს, რომლის მიხედვითაც Granite-Switch-4.1-30B, რომელიც გაყინული Granite ბაზისა და ოთხი სპეციალიზებული aLoRA-სგან შედგება, რეალურ სამყაროში ხუთსაფეხურიან RAG სამუშაო ნაკადს გაცილებით უფრო სწრაფად შეასრულა, ვიდრე Jev-27B, რომელიც აერთიანებს გაყინულ Qwen ბაზას ერთ ზოგადი დანიშნულების decision LoRA-სთან. გუნდი აღნიშნავს, რომ რადგან ადაპტერები ბაზისური მოდელის KV cache-ს იზიარებენ, სპეციალიზებული ადაპტერების დამატება ზოგადი დანიშნულების გადაწყვეტილების ადაპტერთან ერთად თითქმის არაფერი ღირს, რაც იძლევა ფართო დაფარვას ზოგადი ადაპტერისგან და უფრო მაღალ სიზუსტეს სპეციალისტებისგან მიზნობრივ ამოცანებზე.

Switch მოდელების შედგენა და გაფართოება

გამოშვებულ 8B და 30B მოდელებს წინასწარ განსაზღვრული ადაპტერების ნაკრები მოყვება, თუმცა IBM-ის თქმით, ნებისმიერს შეუძლია შექმნას საკუთარი Granite Switch მოდელი Granite Libraries-იდან ადაპტერების შერევითა და შეხამებით; ეს არის სპეციალიზებული გადაწყვეტილებისა და ამოცანების ადაპტერების რეპოზიტორია, რომელიც Granite Switch-ის თავდაპირველ გამოშვებასთან ერთად წარმოადგინეს. გუნდი გეგმავს Adapter SDK-ის გამოშვებას Mellea-ში ადაპტერების წვრთნისთვის, ასევე გაკვეთილებსა და Granite Switch-ის უფრო ფართო მხარდაჭერას.

დემონსტრაციისთვის გუნდმა ააგო საკუთარი 3B პარამეტრიანი Granite Switch მოდელი, რომელიც კლასიკურ თამაშს Doom-ს თამაშობს. Jev-ის მსგავსად, მოდელი თამაშში ნავიგაციისთვის წამის მეასედებში იღებს გადაწყვეტილებებს, თუმცა წამში 60-დან 100-მდე გადაწყვეტილების სიხშირით, Jev-ის მიერ მოხსენებულ წამში 10 გადაწყვეტილებასთან შედარებით. Jev-ისგან განსხვავებით, Granite Switch მოდელს ასევე შეუძლია თამაშის დროს თხრობა და კითხვებზე პასუხის გაცემა. IBM-ის თქმით, Granite Switch-ის შესახებ მეტი დეტალი და მონაცემები მომავალ კვირებში გამოქვეყნდება.

წყაროები: Hugging Face Blog