FUTO, çevrimdışı klavyeler için açık Swipe modelini yayınladı

Kapalı bir sorun için açık modeller

Çevrimdışı Android klavyesi FUTO Keyboard'ın geliştiricisi FUTO, kaydırmalı yazma için açık modeller ve algoritmalardan oluşan Swipe'ı yayınladı. Projenin amacı uzun süredir devam eden bir darboğazı aşmak: telefonlarda iyi kaydırmalı yazma, gizliliği ihlal eden klavye uygulamalarına ya da lisanssız özel kütüphanelere sıkışmış durumdaydı. Modeller, atıf koşuluyla kullanıma izin veren FUTO Model License ile yayımlandı; çıkarım kütüphanesi ise açık kaynak.

Sistem şimdiden kullanımda: FUTO Keyboard'ın 0.1.29 ve sonraki sürümlerinde mevcut. Kendi ürününü geliştirmek isteyenler modelleri indirip kütüphaneyi kullanabilir. Proje sitesindeki demo, sayfayı küçük tutmak için sunucu tarafında çalışıyor; FUTO'ya göre gerçek kullanımda modeller cihaz üzerinde ve çok daha düşük gecikmeyle çalışıyor.

Üç model ve bir ışın araması

Mimari üç model türünü birleştiriyor. Kodlayıcı, düzen ve dilden bağımsızdır ve genel tahminleri üstlenir, ancak tek başına en yüksek doğruluğa ulaşmaz. Tek dile özel küçük model ContextLM, cümledeki önceki sözcükleri dikkate alarak anlamsız sözcükleri eler; eğitimi için yalnızca metin verisi gerekir. Kod çözücü ise belirli bir dil ve klavye düzeni için eğitilir, düzenin kendine özgü yönlerini öğrenir ve önde gelen doğruluğa ulaşır. FUTO şu ana kadar yalnızca QWERTY İngilizce için kod çözücü eğitti.

Tahminler tek başına yeterli değil: bir kaydırma yolunu sözcüklere dönüştürmek için sözlükle sınırlandırılmış bir ışın araması gerekir. FUTO, çıkarım, kod çözme ve ışın aramasını üstlenen C++ kütüphanesi swipe-library'yi yayınladı.

Bir milyon kaydırma ve sayılar

Eğitim verisi halktan geldi: FUTO, Ağustos 2024'te swipe.futo.org sitesinde QWERTY İngilizce kaydırmalar toplamaya başladı; gönüllülere çoğunlukla Vikipedi'den alınan cümleler verildi ve bunları sözcük sözcük kaydırmaları istendi. Bu çalışma bir milyondan fazla kaydırma üretti; düşük kaliteli kayıtlar ayıklandıktan sonra FUTO, Mart 2025'te bir milyon kaydırmadan oluşan veri kümesini MIT lisansıyla yayımladı; küme HuggingFace'te erişilebilir. Şirkete göre veriler hem modellerin eğitiminde hem de rakip kaydırmalı yazma sistemlerinin değerlendirilmesinde kullanıldı.

FUTO'nun test kümesinde üç model birlikte 300'lük ışın genişliğiyle ilk dört öneride yaklaşık yüzde 4 başarısızlık oranı veriyor; sözlük dışı durumlar hariç tutulduğunda hata oranı yüzde 1'in altında. FUTO bu tür sayıların büyük ölçüde kıyaslama testine bağlı olduğunu ve gerçek kullanımda sonuçların değişebileceğini belirtiyor, ancak sistemin büyük teknoloji şirketlerinin klavyeleriyle yarıştığını söylüyor. Modeller küçük: kodlayıcı 635.140 parametre, kod çözücü 304.155 ve ContextLM 1,5 milyon — bunun 1,1 milyonu gömme. Toplam 2.494.767 parametrenin 1.364.271'i etkin. Teknik rapor arXiv'de, modeller HuggingFace'te, kütüphane ise GitLab'da.