125 milyon parametreli model piyano çalmayı cihaz üzerinde tamamlıyor

SimEdw takma adıyla yazan bir blog yazarı, MIDI piyano performansını gerçek zamanlı olarak sürdüren 125 milyon parametreli bir transformer eğitti. Model tamamen cihaz üzerinde çalışıyor ve iPhone 15'te saniyede yaklaşık 108 nota üretiyor — canlı çalma için gerekenin çok üzerinde. Üzerine kurulan RollTab uygulaması, MIDI klavyesi ile iPhone veya iPad'i olanlar için App Store'da ücretsiz. Proje yaklaşık bir yıl sürdü ve 14 deneme gerektirdi.

Notaların temsili

Bir MIDI dosyası kaydedilmiş sesi değil olayları saklar: tuşa basma (perde ve hız ile), tuşu bırakma, sustain pedalının durum değişimi. Her olay için ayrı bir token sözlüğü hızla büyütür — yalnızca basma ve bırakma için 16.512'ye kadar kombinasyon çıkar, çünkü 128 perde 128 hız değeriyle çarpılır.

Nihai biçimde tek bir nota tek adımdır: NOTE(pitch, delta_onset, duration, velocity). Ayrı bir TIME_SHIFT olayı yoktur; sessizlik bir sonraki notanın delta değerinde yaşar, akorlar ise sıfır delta paylaşan birkaç notadır. Sustain pedalının etkisi ön işlemede nota süresine gömülür, böylece model yalnızca perde, başlangıç, süre ve hızı tahmin eder. Transformer artık nota başına dört geçiş harcamıyor; müziği her seferinde bir notanın tamamı kadar ilerletiyor.

Veri ve eğitim

Veri kümesi birkaç yüz bin MIDI dosyası — yaklaşık 300 milyon nota olayı — içeriyor; ağırlıklı olarak kamuya açık eski klasik müzik. Temizlik ölçekten daha önemli çıktı: yazar piyano odaklı malzemeyi seçti, yoğunluğa göre filtreledi, transpoze ve tempo farklarını yok sayan parmak izleriyle tekrarları ayıkladı ve aynı eserin alternatif sürümlerini tek bölümde topladı. Veriyi beş katına çıkarmak modelleri kötüleştirdi.

Eğitim, beş başlık (tip, perde, delta, süre, hız) üzerinden çapraz entropi ile yapılıyor. Planlı örnekleme — modelin eğitim sırasında bazen kendi tahminini kullanması — doğrulama kaybını bozdu (2.9998'e karşı 2.9495) ama devamları iyileştirdi: Gemini 3.5 Flash ile yapılan ikili karşılaştırmalarda bu model %64,3 oranında tercih edildi. Bu tercih verisi daha sonra DPO sonrası eğitimde kullanıldı.

Cihaz üzerinde ve sınırlar

Mimari standart bir decoder-only transformer: RMSNorm, döner konumsal gömmeler, nedensel self-attention ve SwiGLU blokları. Üç boyut eğitildi — yaklaşık 33, 64 ve 125 milyon parametre; Core ML üzerinden çıkarım tamamen cihazda yapılıyor.

Yazar sınırları açıkça belirtiyor: model zaman zaman döngüye giriyor ve kısa istemler zor kalıyor. Ona göre bu, piyano için GPT-2.