نموذج بـ125 مليون معامل يكمل عزف البيانو على الجهاز نفسه

درّب كاتب مدونة يكتب باسم SimEdw نموذجاً بمئة وخمسة وعشرين مليون معامل يواصل أداء البيانو بصيغة MIDI في الزمن الحقيقي. يعمل النموذج بالكامل على الجهاز وينتج نحو 108 نغمات في الثانية على آيفون 15، وهو أكثر مما تحتاجه العزف الحيّ. وتطبيق RollTab المبني عليه متاح مجاناً في متجر التطبيقات لمن يملك لوحة MIDI وآيفون أو آيباد. استغرق المشروع نحو عام وتطلّب 14 تجربة.

تمثيل النغمات

لا يخزّن ملف MIDI صوتاً مسجلاً بل أحداثاً: ضغط مفتاح مع الارتفاع والسرعة، ورفعه، وتغيّر حالة دواسة الاستمرار. وتخصيص رمز لكل حدث ينفخ المعجم سريعاً، فوحده الضغط والرفع ينتج ما يصل إلى 16,512 تركيبة، لأن 128 ارتفاعاً تُضرب بـ128 قيمة سرعة.

في الصيغة النهائية تختصر النغمة الواحدة خطوة واحدة: NOTE(pitch, delta_onset, duration, velocity). لا يوجد حدث TIME_SHIFT منفصل؛ فالصمت يسكن في قيمة delta للنغمة التالية، والأوتار بضع نغمات تتشارك delta صفراً. ويُدمج أثر دواسة الاستمرار في مدة النغمة أثناء المعالجة المسبقة، فيتنبأ النموذج بالارتفاع والبداية والمدة والسرعة فقط. وبذلك لم يعد المحوّل يستهلك أربع تمريرات لكل نغمة، بل يدفع الموسيقى نغمة كاملة في المرة.

البيانات والتدريب

تضم مجموعة البيانات بضع مئات آلاف من ملفات MIDI، أي نحو 300 مليون حدث نغمي، معظمها موسيقى كلاسيكية قديمة من الملكية العامة. وقد كان التنظيف أهم من الحجم: اختار الكاتب المادة البيانو، ورشّحها حسب الكثافة، وأزال التكرار ببصمات تتجاهل النقل والسرعة، وجمع النسخ البديلة للعمل نفسه في قسم واحد. أما توسيع المجموعة نحو خمسة أضعاف فقد أضعف النماذج.

يجري التدريب بانتروبيا متقاطعة على خمسة رؤوس (النوع، الارتفاع، delta، المدة، السرعة). وأضرّ أخذ العينات المجدول، حيث يستعين النموذج أحياناً بتوقعه الخاص أثناء التدريب، بخسارة التحقق (2.9998 مقابل 2.9495) لكنه حسّن الاستكمالات: في المقارنات الثنائية التي قيّمها Gemini 3.5 Flash فُضّل ذلك النموذج في 64.3% من الحالات. ثم استُخدمت بيانات التفضيل هذه في تدريب DPO اللاحق.

على الجهاز والحدود

البنية محوّل قياسي من نوع decoder-only: RMSNorm، وتمثيلات موضعية دوّارة، وانتباه ذاتي سببي، وكتل SwiGLU. دُرّبت ثلاثة أحجام: نحو 33 و64 و125 مليون معامل، ويجري الاستدلال عبر Core ML بالكامل على الجهاز.

يذكر الكاتب العيوب بصراحة: يعلق النموذج أحياناً في حلقة، وتبقى الأوامر القصيرة صعبة. وبحسب وصفه، هذا GPT-2 لكن للبيانو.