DeepSeek V4 Flash 0731-ը՝ 89% ARC-AGI-1-ում և 61,4% ARC-AGI-2-ում

Չորս մակարդակների ստուգված արդյունքները

ARC Prize-ը հրապարակել է DeepSeek V4 Flash 0731-ի ստուգված արդյունքները. մոդելը DeepSeek-ը թողարկել է 2026 թվականի հուլիսի 31-ին։ Մտածողության առավելագույն մակարդակում այն հավաքում է 89,0% ARC-AGI-1 Semi-Private հավաքածուում և 61,4% ARC-AGI-2 Semi-Private-ում, մեկ առաջադրանքի արժեքը համապատասխանաբար 0,02 և 0,04 դոլար է։

Արդյունքները կախված են նրանից, թե որքան մտածողության ռեսուրս է թույլատրվում մոդելին։ "High" ռեժիմում այն հասնում է 87,0% ARC-AGI-1-ում և 56,0% ARC-AGI-2-ում, "Low"-ում՝ 84,0% և 46,0%։ Մտածողությունն ամբողջությամբ անջատելիս ցուցանիշները իջնում են մինչև 11,8% և 2,1%։

Առաջադրանք առ առաջադրանք

Արդյունքների էջում ARC-AGI-2-ի հանրային գնահատումը (Public Eval) ներկայացված է առանձին գլուխկոտրուկների մակարդակով. 120 առաջադրանքներից յուրաքանչյուրի համար նշված է անցել/ձախողվել կարգավիճակը բոլոր չորս տարբերակներում։ Պատկերը անհավասար է. որոշ առաջադրանքներ լուծվում են միայն առավելագույն ջանքով, իսկ մյուսները չեն լուծվում ոչ մի ռեժիմում։ Մոդելի համար ARC-AGI-3-ի արդյունքներ նշված չեն։

Ինչու է այս տարբերությունը կարևոր

ARC-AGI-ն ստեղծված է չափելու վերացական մտածողությունը նոր առաջադրանքների վրա, այլ ոչ թե ուսուցման տվյալների հիշողությունը, և չափանիշի երկրորդ հրատարակությունը միտումնավոր ավելի բարդ է, քան առաջինը։ "None"-ի և "Max"-ի միջև ընկած տարբերությունը՝ 2,1% ընդդեմ 61,4%-ի ARC-AGI-2-ում, ուղղակիորեն ցույց է տալիս, թե արդյունքի որ մասն է գալիս եզրակացության պահին մտածողությունից, և որը՝ մոդելի հիմնական կարողությունից։ Կարևոր է նաև արժեքը. ARC-AGI-2-ի մեկ առաջադրանքի 0,04 դոլարը ուժեղ արդյունքը հասանելի է դարձնում սովորական փորձարկումների բյուջեին։