FUTO oflayn klaviaturalar üçün açıq Swipe modelini buraxdı

Qapalı problem üçün açıq modellər

Oflayn Android klaviaturası FUTO Keyboard-ın hazırlayıcısı FUTO, sürüşdürmə ilə yazma üçün açıq modellər və alqoritmlər ailəsi olan Swipe-ı yayımladı. Layihənin məqsədi uzun müddətdir davam edən maneəni aşmaqdır: telefonlarda keyfiyyətli sürüşdürmə ilə yazma məxfiliyi pozan klaviatura tətbiqlərinə və ya lisenziyasız özəl kitabxanalara sıxılmışdı. Modellər istinad şərti ilə istifadəyə icazə verən FUTO Model License ilə buraxılıb, çıxarım kitabxanası isə açıq koddur.

Sistem artıq istifadədədir: FUTO Keyboard-ın 0.1.29 və sonrakı versiyalarında mövcuddur. Öz məhsulunu qurmaq istəyənlər modelləri yükləyib kitabxanadan istifadə edə bilər. Layihə saytındakı demo səhifəni yüngül saxlamaq üçün server tərəfində işləyir; FUTO-ya görə real istifadədə modellər cihazın özündə və qat-qat az gecikmə ilə işləyir.

Üç model və şüa axtarışı

Arxitektura üç model növünü birləşdirir. Kodlaşdırıcı nə düzülüşdən, nə dildən asılıdır və ümumi proqnozları yerinə yetirir, amma təkbaşına ən yüksək dəqiqliyə çatmır. Bir dil üçün öyrədilmiş kiçik ContextLM cümlədəki əvvəlki sözləri nəzərə alaraq mənasız sözləri kənarlaşdırır; onun öyrədilməsi üçün yalnız mətn məlumatları tələb olunur. Dekodlaşdırıcı isə konkret dil və klaviatura düzülüşü üçün öyrədilir, düzülüşün özəlliklərini mənimsəyir və qabaqcıl dəqiqliyə çatır. FUTO hələlik yalnız QWERTY ingilis dili üçün dekodlaşdırıcı öyrədib.

Təkcə proqnozlar kifayət etmir: sürüşdürmə yolunu sözlərə çevirmək üçün lüğətlə məhdudlaşdırılmış şüa axtarışı tələb olunur. FUTO çıxarımı, dekodlaşdırmanı və şüa axtarışını yerinə yetirən C++ kitabxanası swipe-library-ni buraxdı.

Bir milyon sürüşdürmə və rəqəmlər

Təlim məlumatları ictimaiyyətdən gəldi: FUTO 2024-cü ilin avqustunda swipe.futo.org saytında QWERTY ingilis sürüşdürmələrini toplamağa başladı; könüllülərə əsasən Vikipediyadan götürülmüş cümlələr verilir və onları söz-söz sürüşdürmələri xahiş olunurdu. Bu iş bir milyondan çox sürüşdürmə verdi; aşağı keyfiyyətli qeydlər süzüldükdən sonra FUTO 2025-ci ilin martında bir milyon sürüşdürmədən ibarət məlumat dəstini MIT lisenziyası ilə yayımladı və o, HuggingFace-də əlçatandır. Şirkətə görə məlumatlar həm modellərin öyrədilməsində, həm də rəqib sistemlərin qiymətləndirilməsində istifadə edilib.

FUTO-nun test dəstində üç model birlikdə 300 enində şüa ilə işləyərkən ilk dörd təklifdə uğursuzluq göstəricisi təxminən 4 faizdir; lüğətdən kənar hallar çıxılmaqla xəta səviyyəsi 1 faizdən aşağıdır. FUTO belə rəqəmlərin benchmarkdan çox asılı olduğunu və real nəticələrin fərqli ola biləcəyini xəbərdar edir, lakin sistemin böyük texnologiya şirkətlərinin klaviaturaları ilə rəqabət apardığını bildirir. Modellər kiçikdir: kodlaşdırıcı 635.140 parametr, dekodlaşdırıcı 304.155, ContextLM isə 1,5 milyon — bunun 1,1 milyonu embendinqdir. Cəmi 2.494.767 parametrdən 1.364.271-i aktivdir. Texniki hesabat arXiv-də, modellər HuggingFace-də, kitabxana isə GitLab-dadır.