IBM Granite Switch 4.1 միվեցնում է զրույցը, որոշումները և խստիվը մեկ մոդելում

Մեկ ենթակայական՝ զրույցի, որոշումների և խստիվի համար

IBM-ը թողարկեց Granite Switch 4.1, մոդուլային մոդելների ընտանիք, որը մեկ ենթակայականից մշակում է բնական լեզվի զրույցը, ընդհանուր և մասնագիտացված որոշումները և խստիվի տեքստի փութովությունը: Granite-Switch-4.1-8B-ն և Granite-Switch-4.1-30B-ն միանում են հիմնական մոդելը երեք բաղադրիչների հետ՝ նոր Decision aLoRA-ն ընդհանուր որոշումների համար, մասնագիտացված Guardian aLoRA-ն անվտանգության համար և Granite-Speech-5.0-Turbo-CTC-ն, որը թիմը OpenASR-ի լիդերբորդի ամենագրեգ ASR մոդելն է համարում:

Switch ադապտերները քեշի արդյունավետ Activated LoRA-ներ են, այդ պատճառով հիմնական մոդելի գեներացիայի ընթացքում ստեղծված KV քեշը հետագայում ցանկացած ադապտերի որոշումների համար կարելի է վերամշակել: vLLM-ի վերջին տարբերակի հետ ցածր ռանգի ադապտերների իներենցիայի համար և հատուկ ASR կոդավորչի հետ մոդելները մեծ արագությամբ անցնում են զրույցից որոշումների և ձայնային հարցումների միջև: IBM-ի տվյալներով, ամբողջական կոմպոզիցիան GPU-ում զբաղեցնում է մոտավորապես նույն VRAM-ը, ինչ միայն հիմնական մոդելը, այսինքն ավելի շատ հնարավորություններ՝ ավելի քիչ GPU-ով:

Անվտանգության որոշումներ և իրական ժամանակի բեռնումներ

Guardian aLoRA-ն անվտանգության հետ կապված որոշումների համար է ստեղծված, և թիմի տվյալներով, այդ առաջադրանքներում միջինով գերազանցում է Jev 1.13-ը, Microsoft-Decision-1-ը, GPT-Luna-Decisions-ը և Clef-Flash-ը: 8B մոդելը կարող է ձայնագրել, ստեղծել ամփոփումներ, ստուգել վնասակար պարունակությունը և 15-ից ավելի ընդհանուր ժամանակի թեստավորումներ, և սա ամենը մեկ ենթակայականում իրական ժամանակում աշխատում է:

IBM-ը նաև հայտարարում է ուղղակի համեմատության արդյունքները, որտեղ Granite-Switch-4.1-30B-ը, սառեցված Granite հիմքով և չորս մասնագիտացված aLoRA-ներով կազմված, իրական աշխարհում հինգ քայլանի RAG աշխատանքային հուսանքի շատ արագ է ավարտում՝ համեմատած Jev-27B-ի հետ, որը սառեցված Qwen հիմքին միանում է մեկ ընդհանուր Decision LoRA-ի հետ: Թիմը նշում է, որ ադապտերները համավիճակում են հիմնական մոդելի KV քեշը, այդ պատճառով մասնագիտացված ադապտերների ավելացումը ընդհանուր Decision ադապտերի կողքին գրեթե ոչինչ չի ավելանում, ինչը ընդհանուրից լայն ծավալով պաշտպանություն և մասնագետներից ավելի բարձր ճշգրտություն է տալիս նպատակային առաջադրանքներում:

Switch մոդելների կառուցում և ընդլայնում

Թողարկված 8B և 30B մոդելներին հետևում են ադապտերների նախապես սահմանված հավասարումներ, սակայն IBM-ի տվյալներով, ցանկացած կարող է ստեղծել սեփական Granite Switch մոդել՝ Granite Libraries-ից ադապտերների խառնուրդով և ընտրությամբ: Սա մասնագիտացված որոշումների և առաջադրանքների ադապտերների պահեստ է, որը լույս է տեսել իրական Granite Switch-ի թողարկման հետ միասին: Թիմը պլանավորում է թողարկել Adapter SDK-ն Mellea-ում ադապտերների կառուցման համար, դասընթացների և Granite Switch-ի ավելի լայն համապատասխանության համար:

Ցուցադրության համար թիմը կառուցեց իր 3B պարամետրերի Granite Switch մոդելը, որը խաղում է դասական Doom-ը: Jev-ի նման, մոդելը խաղի նավիգացիայի համար որոշումներ է ընդունում վայրկյանի մասերում, սակայն վայրկյանում 60-ից 100 որոշումներով՝ համեմատած Jev-ի նշված 10 որոշումների հետ: Jev-ից տարբեր, Granite Switch մոդելը կարող է նաև պատմել և պատասխանել հարցերին խաղի ընթացքում: IBM-ի տվյալներով, Granite Switch-ի մանրամասները և տվյալները հայտնի կդառնան հաջորդ շաբաթներում:

Աղբյուրներ: Hugging Face Blog