GPT-6 Astra, կրկնվող տրանսֆորմերները և թաքնված դատողության վեճը

OpenAI-ն սեպտեմբերի սկզբին թողարկեց GPT-6 Astra-ն. Մեքենայական ուսուցման հետազոտող Սեբաստիան Ռաշկան, ով մոդելը փորձարկել է թողարկումից օրեր անց, այն անվանում է իր օգտագործած ամենաուժեղ մոդելը։

Նրա վերլուծության համաձայն՝ Astra-ն գերազանցում է նախորդին՝ GPT-5.6-ին, գրեթե բոլոր ոլորտներում՝ գրավոր աշխատանք, մաթեմատիկա, ծրագրավորում, սակայն ամենամեծ տարբերությունը գրաֆիկական ցուցադրություններում և 3D ռենդերում է։ ARC-AGI-3 թեստում, որը միավորում է տրամաբանական խնդիրներն ու ընդհանրացումը, մոդելը հասնում է 99,9 տոկոսի, մինչդեռ GPT-5.6 Sol-ը՝ ընդամենը 7,8 տոկոսի։

Առաջատարություն՝ վերապահումներով

Անկախ Artificial Analysis ինդեքսներում պատկերն ավելի զուսպ է. Astra-ն առաջատարն է Coding Agent Index v1.4-ում և Intelligence Index v4.2-ում, սակայն մեծ ընդմիջումով չի պոկվում։ Քանի որ այդ գնահատումները խառնում են տարբեր հարմարանքներ՝ Stirrup՝ GDPval-AA-ի և AA-Briefcase-ի համար, Terminus 2՝ Terminal-Bench v2.1-ի համար, մեկ հիմնական հարմարանքի վրա լավարկված մոդելը կարող է թերագնահատվել։

Համակարգչի օգտագործումը՝ որպես նոր ճակատ

Ամենանկատելի առաջընթացը համակարգչի օգտագործման ունակության մեջ է. մոդելը ChatGPT և Codex հավելվածների միջոցով աշխատում է տեղական մեքենայի ծրագրերով։ Տարածված ցուցադրությունների թվում են Նյու Յորքի ռենդերը Blender-ում և մկնիկով նկարելը բրաուզերային MS Paint-ում։ Ըստ հաղորդումների՝ OpenAI-ն գնել է տասնյակ հազարավոր Mac Mini և Mac Studio սարքեր, որպեսզի ուսուցման ընթացքում մոդելը ծանոթանա macOS միջավայրին. սքրինշոթերը մտնում են, մկնիկի ու ստեղնաշարի գործողությունները դուրս են գալիս, հարմարանքը կատարում է դրանք և վերադարձնում նոր պատկերներ։ Իսկ իրական ուսուցումը տեղի է ունենում այլ տեղ. Nvidia-ի ղեկավարի խոսքով՝ Astra-ն մարզվել է մոտ 100 հազար Grace Blackwell GPU-ով։ Astra-ն մնում է դատողության մոդել՝ ստուգելի պարգևներով ուսուցմամբ։

Կրկնվող տրանսֆորմերներ և թաքնված դատողություն

Թողարկումից երկու օր առաջ The Information-ը գրեց, որ Astra-ն օգտագործում է «կրկնվող խորություն», այսինքն՝ կրկնվող տրանսֆորմեր։ Նման կառույցներում նույն բլոկները մի քանի անգամ անցնում են ընդհանուր կշիռներով. Nanbeige4.2-3B-ն 22 բլոկ անցկացնում է երկու անգամ, ByteDance-ի Ouro-ն 48 բլոկը կրկնում է չորս անգամ, իսկ Mixture-of-Recursions-ը յուրաքանչյուր տոկեն ուղղորդում է մեկից երեք անցման։ Հնարքը բարձրացնում է արդյունավետ խորությունը՝ պահելով ավելի քիչ կշիռներ, բայց հաշվարկն ու KV քեշը մնում են նույն խորության սովորական մոդելի մակարդակին. SMELT-ի գնահատմամբ՝ նույն կորստի համար պահանջվում է 6,8–18 տոկոսով պակաս ուսուցման ռեսուրս։

Ռաշկան կասկածում է, որ կրկնությունը թաքցնում է դատողությունը։ OpenAI-ն o1-ից ի վեր թաքցնում է դատողության հետքերի մեծ մասը, իսկ Astra-ն նույն ճշգրտությամբ ավելի քիչ տոկեն է ծախսում, քան GPT-5.6 Sol-ը. այս օրինաչափությունը նկատվել է նաև ավելի փոքր մոդելների միջև (Luna-ն Sol-ից 80 տոկոսով ավելի տոկեն է ծախսում)՝ առանց մեկնաբանելիության անհանգստության։ Astra-ի համակարգային քարտը նշում է Sol-ի համեմատ մոնիտորինգի նվազում՝ հիմնականում կարճ հետքերի պատճառով։ OpenAI-ի գլխավոր գիտնական Յակուբ Պաչոցկին ասաց, որ առաջատար մոդելների հաշվարկային գրաֆը GPT-4-ի կրկնակի սահմանի սահմաններում է, և զգուշացրեց «շփոթեցնող լրատվությամբ հրահրված չհսկվողության մրցավազքից»։