Embedding Gemma Transcribe-ը Google-ի EmbeddingGemma 2-ը սարքի վրա մշակվող խոսքը տեքստի է վերածում

Embedding մոդելից տրանսկրիպտավորում

Embedding Gemma Transcribe-ը անվճար Mac-հավելված է, որը Google-ի EmbeddingGemma 2-ին նոր նշանակություն է տալիս՝ մուլտիմոդալ embedding մոդելը տեքստը, պատկերները, աուդիոն և տեսանյութը մեկ ընդհանուր տարածության մեջ արտապատկերում է: Քանի որ այս տարածությունում ասված բառերը գրավոր համեմատությունների հետ մոտ են գտնվում, մշակողները տեքստերը ստանալու համար բառերը ուղղակիորեն կարդում են այնտեղից:

Մոդելի աուդիո կոդավորիչը թողնվել է հենց այնպես, ինչպես դուրս է եկել: Փոքր կարդացող բաղադրիչը աուդիոյի յուրաքանչյուր կարճ հատված մոդելի տեքստային տարածություն է տեղափոխում, որտեղ մոտ 229 000 անգլերեն բառերից ամենամոտ համընկնումը հաղթում է, իսկ հատվածների հաջորդականությունը դառնում է տրանսկրիպտ: Լրացնում է կետադրությունը և մեծատառերը առանձին փոքր մոդել: Միայն կարդացողը վերապրվել է՝ երկու ժամից պակաս ժամանակում, 8×H100 GPU-ների վրա, բաց լիցենզավորված անգլերեն խոսքի օգտագործմամբ: Հիմնական մոդելը երբեք չի վերապրել խոսքի տեքստի վերածման համար:

Արագությունը Apple Silicon-ի վրա

Մշակողների թեստերի տվյալներով, հավելվածը ամբողջությամբ աշխատում է Mac-ի Neural Engine-ի վրա: 8 GB հիշողությամբ հիմնական M3 MacBook Air-ի վրա նրան մեկ ժամի աուդիոն մշակելու համար պահանջվեց 12,6 վայրկյան, ըստ թիմի տվյալների դա ռեալ ժամանակից 288 անգամ արագ է: Նույն թեստային միջավայրում IBM Granite Speech 5.0 TurboCTC-ն, որը MLX-ի միջոցով GPU-ի վրա աշխատում է, պահանջեց 25,7 վայրկյան՝ ռեալ ժամանակից մոտ 150 անգամ արագ:

Թիմը նաև համեմատության համար հրապարակում է FluidAudio չափանիշների լուծումները՝ NVIDIA Parakeet TDT 0.6B v3-ը M4 Pro-ի վրա ռեալ ժամանակից 156 անգամ արագ արդյունք է ստացել, M5 Pro-ի վրա՝ 335 անգամ, իսկ Phonon-2-ը, Parakeet v3-ի կատարելացված տարբերակը, M5 Pro-ի վրա 480 անգամ արագ արդյունք է ստացել: Մշակողները նշում են, որ այս ցուցանիշները ստացված են ավելի մեծ և նոր Mac-ների վրա և տարբեր աուդիոների վրային, ուստի աղյուսակը մոտավոր ուղղություն է և ոչ հավասար պայմաններում համեմատություն:

Ճշտությունը և հասանելիությունը

Ներկայիս բառային սխալների ցուցանիշը մոտ 5% է՝ համեմատության մեջ առաջատար խոսքի մոդելների 2-3%-ի հետ: Թիմի հավատով, ավելի լավ վերապրած կարդացողի հնարավորություն կլինի վերացնել այս տարբերությունը, և դա համարում է հաջորդական իտերացիայի հիմնական խնդիր:

Տարբերակ 1.6-ը պահանջում է macOS 14-ը կամ ավելի նորը և Apple Silicon-ը; 715 MB մոդելը առաջին գործարկման ժամանակ ներբեռնվում է: Օգտագործողները կարող են աուդիո ֆայլ նետել կամ սեղմել Right Option-ը, խոսել և գործարկել՝ ցանկացած հավելվածում պատուհանով մուտք գործելու համար: Քանի որ մշակումը Neural Engine-ի վրա է տեղի ունենում, աուդիոն երբեք սարքը չի լցնում: Հավելվածը Mac-ի համար անվճար ներբեռնմամբ հասանելի է:

Հղումներ: eg2.haku.sh