Բենչմարկները բացահայտում են AI-ի մտածողության թերությունները, նոր բաց წոնով մոդելները զիջում են չինական մրցակիցներին

Import AI 476-ը ընդգրկում է բենչմարկներ, որոնք ստուգում են AI մոդելների թերությունները, արևմտյան ստարտապների նոր բաց წոնով մոդելները և կառավարության փորձը AI-ի ուսուցման համար սուպերհամակարգիչները միավորելու։

Humanity's Sixth Sense-ը բացահայտում է տեսողական մտածողության թերությունները

Elorian-ը և Scale AI-ը թողարկել են Humanity's Sixth Sense (HSS) բենչմարկը, որը չափում է, թե ինչպես են մոդելները մտածում տեսողական տեսարանով ենթադրված, բայց ակնհայտորեն չցուցադրված տեղեկության մասին։ Դրա 522 հարցը ներառում է 288 պատկեր և 234 տեսահոլովակ, ընդհանուր 17,6 ժամ, ժամանակային և պատճառային դինամիկա, ֆիզիկական և տարածական տրամաբանություն, սոցիալական ըմբռնում, աբստրակտ և համատեքստային եզրակացություններ։

Մարդիկ միջինում pass@1-ում հավաքում են 93,1, իսկ լավագույն AI համակարգ GPT 6 Astra-ն՝ 53,6։ Չինական բաց წոնով մոդելները զիջում են՝ GLM-5.3-flash՝ 26,8, Kimi K3՝ 25,5։ Ամենահաճախը ձախողման պատճառը պատասխանը որոշող մանրամասնի բացթողումն էր (21%), հետո՝ օբյեկտի, մարդու կամ դերի սխալ ճանաչումը (20%)։ Արդյունքները թուլացնում են ենթադրությունը, թե տեսողական մտածողության համար հատուկ 2D և 3D աշխարհի մոդելներ են պետք։

AI հետազոտական ճաշակը արագ բարելավվում է

P-Zero Research-ի TasteVal բենչմարկը գնահատում է, կարո՞ղ են արդյոք մոդելները ընտրել հետաքրքիր խնդիրներ, ծրագրավորել փորձեր և մեկնաբանել արդյունքները ութ խնդրում՝ նախնական ուսուցման տվյալների կուրացիա, նախապատվությունների մոդելավորում և կայունություն ադվերսարիալ պրոմպտների նկատմամբ։ Արդյունքները համեմատում են 24 փորձագետի հետ, այդ թվում OpenAI-ից, Google DeepMind-ից, NVIDIA-ից և Microsoft Research-ից։

Հեղինակների խոսքով՝ էքսպերիմենտալ հետազոտական ճաշակը 2025 թվականի դեկտեմբերից կրկնապատկվում է ամեն 3,0 ամիս, իսկ լավագույն մոդել Opus 5.5-ը մարդկային բազային նիշը գերազանցում է 2,30x հաշվարկային բազմապատիկով, փորձագետների միջին փորձի ծախսի մոտավորապես երեսուներորդ մասով։ Jack Clark-ն ասում է, որ սա ուժեղացնում է այն տեսակետը, թե լիարժեք ռեկուրսիվ ինքնակատարելագործումը կհաստատվի 2027-ին, այլ ոչ 2028-ին։

Նոր բաց წոնով մոդելները զիջում են չինական մրցակիցներին

Reflection-ը ներկայացրել է Beam-ը՝ 501 միլիարդ պարամետրով փորձագետների խառնուրդ մոդել 23 միլիարդ ակտիվ պարամետրով՝ տոկենների արդյունավետության համար։ Չորս շաբաթ 6 144 GB300 NVL72 GPU-ի վրա նախապես ուսուցում են անցկացրել, ապա ուժեղացմամբ սովորեցում մոտավորապես 10 500 նույն GPU-ով, 23,8 տրիլիոն տոկենով։ Beam-ը DeepSWE 1.1-ում հավաքում է 44,4 միավոր GLM-5.3-ի 61-ի դեմ, բայց GLM-5.2-ին հավասարվում է երեքից չորս անգամ պակաս ինֆերենսի հաշվարկներով։ წոներն ու տեխնիկական զեկույցը ծրագրված են այս ամսվա վերջին։

Mistral-ը հայտարարել է Mistral Large 4՝ բաց წոնով մոդել կիբեր խնդիրների համար՝ ավելի քիչ մերժումներով, քան Anthropic-ի և OpenAI-ի պրոպրիետար մոդելները։ Այն ուսուցվել է եվրոպական տվյալների կենտրոններում 3 800 NVIDIA Grace Blackwell GPU-ի վրա։ DeepSWE 1.1-ում ունի 62 միավոր՝ Kimi K3-ի 68-ի դեմ; Mistral-ի խոսքով՝ ներքին թեստերում օգտատերերին ավելի դուր եկավ ML4-ը CAD-ում և STEM-ում, ֆինանսներում և կոդավորման մեջ այն հավասարապես է մրցում GLM-5.3-ի հետ։

Կառավարական լաբորատորիաները սուպերհամակարգիչներ են միավորում AI-ի համար

ԱՄՆ էներգետիկայի դեպարտամենտի երկու նախագիծ ցույց է տալիս, թե ինչպես է ֆեդերացված ուսուցումը տարածում AI աշխատանքները ազգային լաբորատորիաներով։ Հետազոտողները Sandia, Lawrence Livermore և Los Alamos համակարգերում ուսուցել են LLaMA-ի վրա հիմնված մոդելներ, այդ թվում El Capitan-ում, իսկ LLaMA-2 7B-ն քիմիայի տվյալներով հարմարեցրել են մոտ 1 700 Intel, NVIDIA և AMD GPU-ի վրա Argonne-ում, Oak Ridge-ում և Berkeley Lab-ում։ Հեղինակները նշում են, որ մասշտաբը ճակատային գծից մոտ 100x-ով հետ է մնում, բայց ֆեդերացված մոտեցումը համարում են սկիզբ։

Աղբյուրները: Import AI