44% ARC-AGI-1-ზე 67 ცენტად: მცირე ტრანსფორმერი 1,5 საათში

მკვლევარმა მითილ ვაკდემ საკუთარ ბლოგზე ARC-AGI-ის შესახებ მესამე ნაშრომი გამოაქვეყნა. ამჯერად მან ნულიდან გაწვრთნა მცირე ტრანსფორმერი, რომელიც ARC-AGI-1-ის საჯარო შეფასების ნაკრებზე 44%-ს აფიქსირებს, ARC-AGI-2-ზე კი — 7%-ს. ავტორის თქმით, გამოთვლების სრული ღირებულება — ტრენინგი ინიციალიზაციიდან ყველა ამოცანაზე ინფერენსამდე — 67 ცენტია.

ტრენინგს ერთი RTX 5090 ვიდეობარათი სჭირდება და დაახლოებით 1,5 საათი გრძელდება. შედეგი ემთხვევა TRM-ისა და HRM-ის მიერ დაფიქსირებულ ქულებს — ვაკდე აღნიშნავს, რომ ახლა მხოლოდ იმ მიდგომებს ადარებს, რომლებიც ანალოგიურ „ტესტის დროს სწავლას“ (test-time training) იყენებენ. კოდი ღია წყაროსია.

როგორ მუშაობს მიდგომა

თავსატეხის ყოველი შემავალი-გამომავალი წყვილი გარდაიქმნება ტოკენების მიმდევრობად, რომელზეც მცირე ტრანსფორმერი ნულიდან, ავტორეგრესიულად ვარჯიშობს ტესტირების დროსვე — ბენჩმარკის თავსატეხებზე, ტესტის სწორი პასუხების დამალვით. ცოდნის გადატანისთვის თითოეულ თავსატეხს ენიჭება საკუთარი დამატებითი ემბედინგი, პოზიციური ინფორმაცია კი 3D RoPE ემბედინგებით მუშავდება, რადგან ყოველი მიმდევრობა ორ 2D ბადეს შეიცავს. ინფერენსის დროს სატესტო მონაცემებიც გამდიდრდება ფერისა და დიჰედრული პერმუტაციებით, მიღებულ პასუხებზე უკუგარდაქმნა გამოიყენება და საბოლოოდ ორი ყველაზე ხშირი პასუხი წარედგინება.

რა შეიცვალა წინა ვერსიასთან შედარებით

ქულის ყველაზე დიდი ზრდა თანამედროვე არქიტექტურამ (SwiGLU GELU-ს ნაცვლად, RMSNorm LayerNorm-ის ნაცვლად), მონაცემთა მეტმა მრავალფეროვნებამ და უკეთესმა გადარევამ, ასევე 4-დან 8 ფენამდე გაზრდამ მისცა. ხარჯი კი შემცირდა ნაკლები აუგმენტაციით, ოპტიმიზატორის AdamW-იდან NorMuon-ზე (დამხმარე AdamW-ით) გადასვლით და flash attention-ით ცვლადი სიგრძის შეფუთულ მიმდევრობებზე.

რატომ აქვს ამას მნიშვნელობა

ვაკდე მიიჩნევს, რომ ნიმუშების ეკონომიურობა (sample efficiency) ხელოვნური ინტელექტის ყველაზე მნიშვნელოვანი ამოუწყვეტელი პრობლემაა. ARC ამისთვის მოსახერხებელია: დაახლოებით 1000 თავსატეხი, თითოეული საკუთარი წესით, და მინიმალური წინაპირობები. მისი მიზანია გაარკვიოს, სად არის ტრანსფორმერებზე დაფუძნებული მეთოდების ზღვარი და ისე შეამციროს იტერაციის ფასი, რომ ამ პრობლემაზე მსოფლიოში ნებისმიერს შეეძლოს მუშაობა.

აბლაციების ანალიზმა აჩვენა, რომ შესრულების მნიშვნელოვანი ნაწილი რჩება აუგმენტაციებისა და სინთეტიკური მონაცემების გარეშეც, ხოლო რამდენიმე გაშვების შედეგების გაერთიანებით გადაჭრილი ამოცანების წილი 55%-ს აღწევს. ავტორი ფიქრობს, რომ 65% სუფთა ტრანსფორმერის ჩარჩოში მიღწევადია, ხარჯების კიდევ ათჯერ შემცირებას კი ხელით დაწერილი GPU კერნელებით ხედავს.