Բաց և փակ ԱԻ մոդելները նեղացնում են կիբեռնետիկ կարողությունների բացը՝ Vals AI-ի տվյալներով

Vals AI-ի CyberOffense բենչմարքը պարզել է, որ ԱԻ գործակալները կարող են ինքնուրույն ներթափանցել իրատեսական սիմուլյացված կորպորատիվ ցանցեր։ GPT-6 Sol Daybreak-ը, որը OpenAI-ի սահմանափակ Daybreak կիբեռնետիկ ծրագրի մաս է, հասել է նպատակների 80,8 տոկոսին, իսկ բաց կշռային Deepseek V4.1 Flash 1017-ը՝ 72,8 տոկոսի՝ մոտ 3 դոլար մեկ գործարկման համար՝ մոտ 22 դոլարի փոխարեն։

Բենչմարքի կազմակերպումը և լավագույն արդյունքները

Բենչմարքը սիմուլյացնում է իրատեսական կորպորատիվ ցանցեր։ Յուրաքանչյուր գործակալ առանձին է աշխատում մեկուսացված հարձակման մեքենայի վրա՝ սկսելով միայն հանրային վեբ հասցեից և առանց մարդկային օգնության։ Այն գործում է մեկուսացված Kali Linux մեքենայից, ինքնուրույն հրամաններ է ուղարկում սիմուլյացված ցանցին և անցնում է վեբ հավելվածից Windows սերվերներով մինչև ադմինիստրատորի արտոնություններ։ Յուրաքանչյուր գործողություն արտաքին կերպով է գրանցվում և ավտոմատ գնահատվում։ Vals-ի հետազոտողները ասում են, որ երբ մոդելի կշիռները հրապարակային են, որևէ մատակարար չի կարող վերահսկել կամ սահմանափակել դրանց օգտագործումը։

Տոկենների օգտագործումը և ավելի դժվար թեստը

Որքան ավելի շատ տոկեն է օգտագործում ԱԻ գործակալը, այնքան ավելի շատ հարձակման նպատակ է հասնում։ GPT-6 Sol Daybreak-ը առաջատար է՝ մոտ 80 տոկոսով, իսկ Deepseek V4.1 Flash-ը հետևում է՝ մոտ 73 տոկոսով։ Մոդելների մեծ մասը էական առաջընթաց չի գրանցում, մինչև չի անցնում 100 միլիոն տոկենը։ Ավելի դժվար Lighthouse թեստում Daybreak-ը վերցրեց առաջին ընկերության ադմինիստրատիվ վերահսկողությունը, գողացավ գաղտնաբառերը և դրանցով ներթափանցեց երկրորդ ընկերություն՝ 31 նպատակից 27-ը կատարելով երեք ժամից պակաս ժամանակում։ Deepseek-ը իրականացրեց 21 նպատակ՝ տասներորդ մասի գնով և սահմանափակված չէր միայն անվտանգության պաշտպանիչ միջոցներով։ Deepseek-ը առաջին 25 միլիոն տոկենում զրոյական արդյունք ունեցավ և ամենամեծ առաջընթացը գրանցեց 100 միլիոն տոկենից հետո, ուստի կարճ թեստերը թերագնահատում են բաց մոդելների իրական ներուժը։

Ավելի պարզ թեստ, աղյուսակ և պաշտպանվողի հնարավորություն

Ավելի պարզ Nova թեստում GPT-6 Sol Daybreak-ը առաջատար է՝ հարձակման նպատակների մոտ 80 տոկոսով, իսկ ավելի դժվար Lighthouse սցենարում Deepseek V4.1 Flash-ը առաջ է անցնում մյուսներից։ Բաց չինական մոդելների մեծ մասը էական առաջընթաց չի գրանցում, մինչև չի անցնում 100 միլիոն տոկենը, իսկ կարճ բենչմարքները թերագնահատում են դրանց ներուժը։ GPT-6 Sol Daybreak-ը Nova-ում միջինում ստացել է 21-ից 15,7, տիրույթը՝ 12-ից 19, իսկ Lighthouse-ում՝ 31-ից 27։ Deepseek V4.1 Flash 1017-ը միջինում ստացել է 21-ից 16,3, տիրույթը՝ 15-ից 18, իսկ Lighthouse-ում՝ 31-ից 21։ Kimi K3.1 Pro-ն ստացել է 13 և 20, Meta Wonder-ը՝ 7 և 28, Grok 4.7-ը՝ 12 և 16, Kimi K3-ը՝ 9 և 10, իսկ GLM 5.3 Flash-ը՝ 5 և 5։ Vals-ը ասում է, որ նույն բացահայտումները հնարավորություն են ստեղծում պաշտպանվողների համար, քանի որ խոցելիությունները շահագործող մոդելները կարող են օգնել ընկերություններին դրանք նախ գտնել և շտկել։ Իրական ցանցերի վրա հարձակումները հավանաբար կաճեն առաջիկա ամիսներին։

Նախորդ ուսումնասիրությունները ցույց են տալիս նույն միտումը

Արդյունքները համահունչ են Մեծ Բրիտանիայի ԱԻ անվտանգության ինստիտուտի հուլիսյան վերլուծությանը։ Կիբեռնետիկ կարողություններում բաց և փակ սահմանային մոդելների միջև բացը կրճատվել է չորսից յոթ ամսով՝ 2025 թվականի մեծ մասում վեցից տաս ամիս լինելուց հետո։ Բաց մոդելները նաև շատ ավելի էժան են՝ AISI-ի տվյալներով Deepseek V4-Pro-ով կիբեռնետիկ միջավայրում մեկ անցումը արժե 1,19 դոլար, իսկ Anthropic-ի Opus 4.5-ով՝ 85 դոլար։ Բաց մոդելների անվտանգության միջոցները հիմնականում անարդյունավետ էին։ Anthropic-ի վերջին ուսումնասիրությունը նաև ցույց տվեց, որ ազատ հասանելի GLM-5-3 մոդելը կարող է ստեղծել շահագործումներ գրեթե նույն մակարդակով, ինչ ներքին լավագույն Mythos մոդելը։

Աղբյուրներ՝ The Decoder