transcribe.cpp. ggml-ի վրա հիմնված խոսքի ճանաչման գրադարան՝ 60-ից ավելի մոդելներով

Բաց կոդով Handy թելադրության հավելվածի հեղինակը հրապարակել է transcribe.cpp-ն՝ արտագրության գրադարան, որը կառուցված է ggml մեքենայական ուսուցման գրադարանի վրա։ Նախագիծը թողարկվել է 0.1.0 տարբերակով և, հեղինակի խոսքով, աջակցում է խոսքի արտագրության բոլոր ժամանակակից մոդելներին։ Hugging Face-ում handy-computer կազմակերպության ներքո հրապարակված յուրաքանչյուր մոդել թվային եղանակով ստուգվել և WER թեստերով համեմատվել է հենանիշային իրականացման հետ։

Ինչու ևս մեկ ASR շերտ

Նախագիծը ծնվել է բազմապլատֆորմ խոսքից տեքստ հավելվածի տարածման դժվարություններից։ Ըստ հեղինակի՝ սարքում ավտոմատ խոսքի ճանաչման համար գործնականում կան միայն whisper.cpp-ն ու ONNX-ը, իսկ Apple-ի սարքերում ավելանում է երրորդ ուղին՝ MLX-ը, ինչը ստիպում է աջակցել մի քանի շարժիչների և մոդելները տեղափոխել դրանցից յուրաքանչյուրին։ ONNX-ը, նշում է նա, արդյունավետության զգալի մասը չօգտագործված է թողնում, քանի որ աշխատում է պրոցեսորի վրա։ Մոդելների լայն աջակցություն հայտարարող այլ գրադարանները հաճախ ունեն անհայտ հեղինակներ և անհասկանալի թեստավորում, ինչը հարցեր է առաջացնում երկարաժամկետ սպասարկման, կապակցիչների և չափումների շուրջ։

Ինչ է տալիս գրադարանը

transcribe.cpp-ն աջակցում է խոսքի ճանաչման 16 ընտանիքի՝ ավելի քան 60 մոդելի, մնացածը կավելանան հետագայում։ Արագացումը հասանելի է Vulkan-ի, Metal-ի, CUDA-ի և TinyBLAS-ի միջոցով, իսկ յուրաքանչյուր աջակցվող մոդելի համար հրապարակված են չափումներ Ryzen 4750U-ի վրա (CPU և Vulkan, Fedora) և M4 Max-ի վրա։ Աջակցվում են ինչպես հոսքային, այնպես էլ խմբաքանակային արտագրություն։ Գրադարանը նկարագրվում է որպես whisper.cpp-ի գրեթե ուղիղ փոխարինող. այն կարող է աշխատեցնել հանրահայտ .bin մոդելային ֆայլերը, իսկ whisper-ի իրականացումը տալիս է մոտավորապես նույն արդյունավետությունը։ Կապակցիչները սպասարկվում են Python-ի, JavaScript-ի և TypeScript-ի, Rust-ի, ինչպես նաև Objective-C-ի և Swift-ի համար։

Տեղական խոսքի ճանաչում՝ առանց ամպի

Հեղինակի նպատակը տեղում աշխատող ճանաչումը հեշտացնելն է։ Նա նշում է, որ էժան ներկառուցված Rockchip RK3566 չիպը կարողանում է transcribe.cpp-ի միջոցով մոդելները գործարկել իրական ժամանակից արագ, իսկ ժամանակակից մոդելներով արտագրությունը սպառում է ընդամենը մի քանի վատտ, այնպես որ ձայնը ամպային ծառայության ուղարկելը պարտադիր չէ։ Աշխատանքին աջակցել են Mozilla AI-ն՝ BiR ծրագրի շրջանակում, ggml-ը, Modal-ը, Blacksmith-ը և Hugging Face-ը։ Շարժիչը գրվել է արհեստական բանականության օգնությամբ, հավելում է հեղինակը, սակայն հայտարարության բառերը՝ ոչ։