125 միլիոն պարամետրանոց մոդելը դաշնամուրի նվագը լրացնում է հենց սարքում

SimEdw կեղծանունով բլոգի հեղինակը մարզել է 125 միլիոն պարամետրանոց տրանսֆորմեր, որը իրական ժամանակում շարունակում է MIDI դաշնամուրի կատարումը։ Մոդելը աշխատում է ամբողջությամբ սարքում և iPhone 15-ում արտադրում է վայրկյանում մոտ 108 նոտա — ավելին, քան անհրաժեշտ է կենդանի նվագի համար։ Դրա վրա կառուցված RollTab հավելվածը App Store-ում անվճար է MIDI ստեղնաշար և iPhone կամ iPad ունեցողների համար։ Նախագիծը տևել է մոտ մեկ տարի և պահանջել 14 փորձարկում։

Նոտաների ներկայացումը

MIDI ֆայլը պահում է ոչ թե ձայնագրություն, այլ իրադարձություններ՝ ստեղնի սեղմում՝ բարձրությամբ և ուժգնությամբ, բաց թողնում, պեդալի վիճակի փոփոխություն։ Յուրաքանչյուր իրադարձության համար առանձին տոկենը արագ ուռճացնում է բառարանը — միայն սեղմման ու բաց թողնման համար ստացվում է մինչև 16 512 համադրություն, քանի որ 128 բարձրությունը բազմապատկվում է 128 ուժգնության արժեքով։

Վերջնական ձևաչափում մեկ նոտան մեկ քայլ է՝ NOTE(pitch, delta_onset, duration, velocity)։ Առանձին TIME_SHIFT իրադարձություն չկա. դադարը պարունակվում է հաջորդ նոտայի delta-ում, իսկ ակորդները զրո delta ունեցող մի քանի նոտաներ են։ Sustain պեդալի ազդեցությունը նախնական մշակման ընթացքում ներառվում է նոտայի տևողության մեջ, ուստի մոդելը կանխատեսում է միայն բարձրությունը, սկիզբը, տևողությունը և ուժգնությունը։ Տրանսֆորմերը այլևս չի ծախսում չորս անցում մեկ նոտայի համար — այն երաժշտությունը առաջ է տանում ամբողջ նոտաներով։

Տվյալները և մարզումը

Տվյալների հավաքածուն ընդգրկում է մի քանի հարյուր հազար MIDI ֆայլ՝ մոտ 300 միլիոն նոտային իրադարձություն, հիմնականում հին դասական երաժշտություն՝ հանրային սեփականությունից։ Մաքրումը պարզվեց ավելի կարևոր, քան մասշտաբը. հեղինակը ընտրեց դաշնամուրային նյութը, զտեց ըստ խտության, կրկնօրինակները հանեց տրանսպոզիցիան ու տեմպը անտեսող մատնահետքերով և նույն ստեղծագործության տարբերակները խմբավորեց մեկ բաժնում։ Հավաքածուի հինգ անգամ ավելացումը վատթարացրեց արդյունքը։

Մարզումը հինգ գլխերով (տիպ, բարձրություն, delta, տևողություն, ուժգնություն) խաչաձև էնտրոպիա է։ Ըստ պլանի սեմպլավորումը, երբ մոդելը մարզման ընթացքում երբեմն օգտագործում է սեփական կանխատեսումը, վատթարացրեց վալիդացիայի կորուստը (2.9998 ընդդեմ 2.9495-ի), սակայն բարելավեց շարունակությունները. Gemini 3.5 Flash-ի զույգային համեմատություններում այդպիսի մոդելը նախընտրել են դեպքերի 64.3%-ում։ Այդ նախապատվությունների վրա հետո անցկացվել է DPO հետմարզում։

Սարքում և սահմանափակումները

Ճարտարապետությունը ստանդարտ decoder-only տրանսֆորմեր է՝ RMSNorm, rotary դիրքային էմբեդինգներ, պատճառական self-attention և SwiGLU բլոկներ։ Մարզվել է երեք չափ՝ մոտ 33, 64 և 125 միլիոն պարամետր. Core ML-ի միջոցով ինֆերենսը կատարվում է ամբողջությամբ սարքում։

Հեղինակը բացահայտ նշում է թերությունները. մոդելը երբեմն ընկնում է ցիկլի մեջ, իսկ կարճ հուշումները մնում են բարդ։ Նրա գնահատմամբ սա «GPT-2 է, բայց դաշնամուրի համար»։