125 milyon parametrli model pianino ifasını cihazın özündə tamamlayır

SimEdw adı ilə yazan bloq müəllifi MIDI pianino ifasını real vaxtda davam etdirən 125 milyon parametrli transformer öyrədib. Model tamamilə cihazda işləyir və iPhone 15-də saniyədə təxminən 108 nota istehsal edir — canlı ifa üçün tələb olunandan qat-qat çox. Onun əsasında qurulan RollTab tətbiqi MIDI klaviaturası və iPhone yaxud iPad-i olanlar üçün App Store-da pulsuzdur. Layihə təxminən bir il çəkib və 14 sınaq tələb edib.

Notların təqdimatı

MIDI faylı yazılmış səsi deyil, hadisələri saxlayır: klavişin basılması (yüksəklik və güc ilə), buraxılması, sustain pedalının vəziyyətinin dəyişməsi. Hər hadisə üçün ayrı token lüğəti sürətlə böyüdür — yalnız basma və buraxma üçün 16.512-yə qədər kombinasiya alınır, çünki 128 yüksəklik 128 güc dəyəri ilə vurulur.

Son formatda bir nota bir addımdır: NOTE(pitch, delta_onset, duration, velocity). Ayrı TIME_SHIFT hadisəsi yoxdur; sükut növbəti notanın delta-sında olur, akkordlar isə sıfır delta paylaşan bir neçə notadır. Sustain pedalının effekti ön emalda notanın müddətinə daxil edilir, ona görə model yalnız yüksəkliyi, başlanğıcı, müddəti və gücü proqnozlaşdırır. Transformer artıq hər nota üçün dörd keçid sərf etmir — musiqini hər dəfə bütöv bir nota irəli aparır.

Məlumatlar və təlim

Məlumat dəsti bir neçə yüz min MIDI faylı — təxminən 300 milyon nota hadisəsi — əhatə edir; əsasən ictimai mülkiyyətdə olan köhnə klassik musiqi. Təmizləmə miqyasdan daha vacib çıxdı: müəllif piano yönümlü materialı seçdi, sıxlığa görə süzgəcdən keçirdi, transpozisiya və tempi nəzərə almayan barmaq izləri ilə təkrarları sildi və eyni əsərin alternativ versiyalarını bir bölmədə qruplaşdırdı. Dəsti beş dəfə böyütmək modelləri pisləşdirdi.

Təlim beş başlıq (tip, yüksəklik, delta, müddət, güc) üzrə çarpaz entropiya ilə aparılır. Planlaşdırılmış seçmə — modelin təlim zamanı bəzən öz proqnozundan istifadə etməsi — validasiya itkisini pisləşdirdi (2.9998, 2.9495-ə qarşı), lakin davamları yaxşılaşdırdı: Gemini 3.5 Flash ilə ikili müqayisələrdə bu model 64,3% hallarda üstün tutuldu. Həmin üstünlük məlumatları sonra DPO sonrakı təlimində istifadə olundu.

Cihazda və məhdudiyyətlər

Arxitektura standart decoder-only transformerdir: RMSNorm, rotasiyalı mövqe embendinqləri, səbəbli self-attention və SwiGLU blokları. Üç ölçü öyrədilib — təxminən 33, 64 və 125 milyon parametr; Core ML vasitəsilə çıxarış tamamilə cihazda baş verir.

Müəllif çatışmazlıqları açıq deyir: model arabir dövrəyə düşür və qısa promptlar çətin qalır. Onun sözlərinə görə, bu piano üçün GPT-2-dir.