מודל עם 125 מיליון פרמטרים שמשלים נגינת פסנתר במכשיר עצמו

כותב בלוג בשם העט SimEdw אימן טרנספורמר עם 125 מיליון פרמטרים שממשיך נגינת פסנתר MIDI בזמן אמת. המודל פועל כולו על המכשיר ומפיק כ-108 תווים בשנייה באייפון 15 — יותר ממה שנדרש לנגינה חיה. האפליקציה RollTab, שנבנתה עליו, זמינה בחינם ב-App Store למי שיש לו קלידת MIDI ואייפון או אייפד. הפרויקט ארך כשנה ודרש 14 ניסויים.

ייצוג התווים

קובץ MIDI אינו שומר צליל מוקלט אלא אירועים: לחיצה על קליד עם גובה ומהירות, שחרור, שינוי במצב הדוושה. אסימון נפרד לכל אירוע מנפח במהירות את אוצר המילים — רק עבור לחיצה ושחרור מתקבלות עד 16,512 צירופים, משום ש-128 גבהים מוכפלים ב-128 ערכי מהירות.

בפורמט הסופי תו אחד הוא צעד אחד: NOTE(pitch, delta_onset, duration, velocity). אין אירוע TIME_SHIFT נפרד: השקט נמצא ב-delta של התו הבא, ואקורדים הם כמה תווים עם delta אפס. אפקט דוושת הסוסטיין מוטמע במשך התו בשלב העיבוד המוקדם, כך שהמודל חוזה רק גובה, התחלה, משך ומהירות. הטרנספורמר כבר אינו זקוק לארבעה מעברים לכל תו — הוא מקדם את המוזיקה תו שלם בכל פעם.

נתונים ואימון

מערך הנתונים כולל כמה מאות אלפי קובצי MIDI — כ-300 מיליון אירועי תווים — בעיקר מוזיקה קלאסית ותיקה בנחלת הכלל. הניקוי היה חשוב יותר מהיקף: המחבר בחר חומר פסנתרי, סינן לפי צפיפות, הסיר כפילויות בטביעות אצבע שמתעלמות מטרנספוזיציה ומקצב, וקיבץ גרסאות חלופיות של אותה יצירה לאותו פיצול. הגדלת המערך פי חמישה הרעה את התוצאות.

האימון הוא אנטרופיה צולבת על חמישה ראשים (סוג, גובה, delta, משך, מהירות). דגימה מתוזמנת, שבה המודל משתמש לפעמים בתחזית שלו עצמו, הרעה את הפסד הוולידציה (2.9998 לעומת 2.9495) אך שיפרה את ההמשכים: בהשוואות זוגיות שנמדדו ב-Gemini 3.5 Flash המודל הזה הועדף ב-64.3% מהמקרים. על העדפות אלה בוצע לאחר מכן אימון DPO.

על המכשיר ומגבלות

הארכיטקטורה היא טרנספורמר סטנדרטי מסוג decoder-only: RMSNorm, אמבדינגים מיקומיים רוטוריים, self-attention סיבתי ובלוקי SwiGLU. אומנו שלושה גדלים — כ-33, 64 ו-125 מיליון פרמטרים; ההרצה דרך Core ML מתבצעת כולה על המכשיר.

המחבר מציין בגלוי את המגבלות: המודל נתקע לפעמים בלולאה, ופרומפטים קצרים נותרים קשים. לדבריו זה GPT-2, אבל לפסנתר.