Codex գործակալը QR միջուկն արագացրել է 232 անգամ

GPU Mode-ի և Core Automation-ի կազմակերպած ինքնահետազոտության մրցույթում sankalp կեղծանունով մշակողը 183 մասնակցից գրավել է 12-րդ տեղը։ Նրա լուծումը բազային QR վերլուծության միջուկից աշխատում էր 232 անգամ ավելի արագ։ Բլոգի գրառման մեջ նա պատմում է, թե ինչպես օգտագործեց OpenAI-ի Codex գործակալը և հաճախակի ներկայացումների ցիկլը՝ մոտեցում, որը ինքն անվանում է «loop engineering»։

Խնդիրը՝ փաթեթային Householder QR

Մասնակիցները պետք է իրականացնեին փաթեթային քառակուսի կոմպակտ Householder QR վերլուծություն։ Ներածումը batch × n × n չափի FP32 CUDA մատրիցների փաթեթն էր, իսկ ելքը՝ նույն կոմպակտ ձևաչափը, որը վերադարձնում է torch.geqrf-ը. H-ի վերին եռանկյունին պահում է R-ը, ստորին մասը՝ Householder-ի վեկտորները, իսկ առանձին tau վեկտորը՝ անդրադարձման գործակիցները։ Ստուգիչը torch.linalg.householder_product(H, tau)-ով վերականգնում էր Q-ն և ստուգում A ≈ QR, QᵀQ ≈ I և QᵀA ≈ R պայմանները։

Ճիշտ ներկայացումները դասակարգվում էին ըստ տարբեր չափերի և պայմանականության դեպքերի համար միջին երկրաչափական աշխատաժամանակի։ Հիմնական չափերն էին 512×512-ը, ինչպես նաև 1024, 2048 և 4096-ը։ Ներքուստ թույլատրվում էր FP16, FP8 կամ NVFP4 ճշգրտությունը, սակայն արդյունքը դեռ պետք է անցներ FP32 մակարդակի ստուգումները։

Codex-ը ցիկլի մեջ

GPU Mode-ը տրամադրել էր popcorn CLI գործիքը, որը գործակալներին թույլ էր տալիս ուղղակիորեն փորձարկել, չափել և ներկայացնել լուծումները առաջատարների ցանկին։ 14 օրվա ընթացքում հեղինակը կատարել է ավելի քան 1500 ներկայացում։ Codex-ի աշխատանքային միջավայրում կային խնդրի նկարագրությունը, ներկայացման հրահանգներով AGENTS.md-ը և յուրաքանչյուր փորձը գրանցող մատյան։ Թվային նպատակների համար նա օգտագործում էր /goal հրամանը, ցիկլը չդադարեցնելու համար՝ /btw-ն, իսկ խոչընդոտները գտնելու համար՝ Modal-ի և NCU-ի պրոֆիլավորումը։

Տեղական մաքսիմումներից խուսափելու համար հեղինակը պահում էր երեքից հինգ գաղափարների «փունջ», նոր գաղափարների համար ներգրավում էր ավելի ուժեղ խորհրդատու մոդել և երբեմն առանձին ենթագործակալներ էր ուղարկում փորձերի։

419 մվ-ից՝ 1,8 մվ

Բազային torch.geqrf ուղին ընդհանուր առմամբ տևում էր մոտ 419 000 միկրովայրկյան։ n = 512 չափի համար բլոկային Householder ալգորիթմը ներդնելուց հետո հեղինակը մեկ օրում հասել է 5000 միկրովայրկյանի, իսկ վերջնական արդյունքը կազմել է 1805 միկրովայրկյան։ Բլոկային մոտեցումը պանելի անդրադարձումները խտացնում է մեկ rank-b WY թարմացման մեջ և մնացած աշխատանքը դարձնում երեք մատրիցային բազմապատկում՝ ձև, որի հետ tensor միջուկները լավագույնս աշխատում են։

Եզրակացություն

Հեղինակի եզրակացությամբ՝ ոլորտային գիտելիքը արագացնում է թե՛ գործիքային միջավայրի կառուցումը, թե՛ մոդելի կառավարումը. որքան լավ ես հասկանում խնդիրը, այնքան ճշգրիտ հարցեր ես տալիս գործակալին։ Նա նշում է, որ սա իր առաջին լուրջ փորձն էր ինքնահետազոտության մեջ, և որ շարքի երկրորդ մրցույթը՝ սեփական արժեքների վերլուծության շուրջ, արդեն ընթանում է։