67 sentə ARC-AGI-1-də 44%: 1,5 saatda öyrədilmiş kiçik transformer

Tədqiqatçı Mithil Vakde ARC-AGI barədə seriyasının üçüncü yazısını dərc edib. Bu dəfə o, sıfırdan kiçik bir transformer öyrədib: model ARC-AGI-1-in açıq qiymətləndirmə dəstində 44%, ARC-AGI-2-də isə 7% nəticə göstərir. Müəllifin sözlərinə görə, bütün həyat dövrü üzrə hesablama xərci — ilkin vəziyyətdən başlayan təlim və bütün tapşırıqlar üzrə çıxarım — 67 sent təşkil edib.

Təlim tək bir RTX 5090 kartında təxminən 1,5 saat çəkir və nəticə indi müqayisə etdiyi TRM və HRM modellərinin elan olunmuş balları ilə üst-üstə düşür. Vakde qeyd edir ki, artıq yalnız oxşar test zamanı təlim istifadə edən yanaşmalarla müqayisə aparır. Kod açıq mənbəlidir.

Yanaşma necə işləyir

Tapmacadakı hər giriş-çıxış cütü token ardıcıllığına çevrilir və kiçik transformer bu ardıcıllıqlar üzərində sıfırdan, test zamanı avtoreqressiv şəkildə öyrədilir — test cavabları gizli saxlanılır. Tapşırıqlar arası öyrənmə üçün hər tapmacaya öz öyrənilmiş additiv embendinqi verilir, mövqe məlumatı isə 3D RoPE embendinqləri ilə işlənir, çünki hər ardıcıllıq iki 2D şəbəkə ehtiva edir.

Təlim məlumatları rəng və dihedral permutasiyalarla zənginləşdirilir. Çıxarım zamanı test girişləri də artırılır, alınan cavablara tərs çevrilmə tətbiq olunur və sonda ən çox rast gəlinən iki cavab təqdim edilir.

Əvvəlki versiyaya nisbətən nə dəyişdi

Bal artımının ən böyük hissəsi modernləşdirilmiş arxitekturadan gəldi: GELU yerinə SwiGLU, LayerNorm yerinə RMSNorm, daha rəngarəng və daha yaxşı qarışdırılmış məlumat, həmçinin 4 laydan 8 laya keçid. Xərclərin azalması isə daha az artırma, optimallaşdırıcının yalnız AdamW-dən köməkçi AdamW ilə NorMuon-a keçməsi və dəyişən uzunluqlu paketlənmiş ardıcıllıqlarda flash attention sayəsində baş verdi.

Niyə vacibdir

Vakde nümunə səmərəliliyini (sample efficiency) süni intellektin ən mühüm həll olunmamış problemi hesab edir, ARC-ni isə bunu yoxlamaq üçün əlverişli meydança sayır: təxminən 1000 tapmaca, hər birinin öz qaydası və minimal ilkin bilik tələbi. Onun məqsədi bugünkü dərin öyrənmə metodlarının hüdudlarını müəyyən etmək və təkrarlama xərcini dünyada hər kəsin bu problem üzərində işləyə biləcəyi qədər aşağı saxlamaqdır.

Ablasiya təhlili göstərdi ki, performansın əhəmiyyətli bir hissəsi artırmalar və sintetik məlumat olmadan da qalır, bir neçə işə salmanın birləşməsində həll olunan tapşırıqlar isə 55%-ə çatır. Müəllif hesab edir ki, 65% adi transformer çərçivəsində mümkündür və əllə yazılmış GPU nüvələri ilə xərcləri daha 10 dəfə azaltmaq olar.