Մարդիկ բաց թողեցին յուրաքանչյուր երրորդ սպառնալիքը՝ հաստատելով AI-գործակալի հրահանգները

Դիտարկիչի խաղից ստացված տվյալները, որտեղ խաղացողները հաստատում կամ մերժում են AI կոդի գործակալի հրահանգները, վկայում են, որ «մարդը ցիկլում» ստուգումը թույլ անվտանգության սահման է։ Օգոստոսի 5-ին հրապարակված գրառման մեջ մշակող Ալեքս Վաուտերսը հայտնում է, որ խաղը հավաքել է ավելի քան 40,000 վազք և 409,000 անհատական որոշում՝ հաստատել կամ մերժել։ Միջին խաղացողը բաց է թողել երեք սպառնալիքից մեկը. միջին ճշգրտությունը կազմել է 66.3%։

Հիմնական թվերը

Վազքերի գրեթե մեկ երրորդը՝ 32.9%-ը, ավարտվել է բացասական միավորով. սպառնալիքները հաստատելու և անվտանգ հրահանգները արգելափակելու տույժերը գերազանցել են ճիշտ արված ամեն ինչին։ Խաղացողների մոտ 35.2%-ը որսացել է բոլոր սպառնալիքները, սակայն դա անել՝ արգելափակելով առավելագույնը հինգ անվտանգ հրահանգից մեկը, հաջողվել է միայն 20.8%-ին. մնացածը դրան հասել է մասամբ ամեն ինչ արգելափակելով։ Հեղինակը նշում է կարևոր նախազգուշացում. խաղում հանդիպած հրահանգների մոտ 34%-ը սպառնալիքներ էին՝ շատ ավելի, քան առօրյա աշխատանքում, թեև արագ թողարկելու ճնշումը, նրա կարծիքով, իրական նախագծերում նույնպես առաջացնում է նման շտապ հաստատումներ։

Որ սպառնալիքներն են աննկատ մնում

Բացթողման ցուցանիշը կտրուկ տարբերվում էր ըստ կատեգորիաների։ Ակնհայտ կործանարար հրահանգները, ինչպիսիք են rm -rf /, որսացվում էին ամենահուսալիորեն՝ 11.7% բացթողում։ Մշտական փոփոխությունները (crontab-ի ներարկում, git config-ի զավթում) բաց էին թողնվում 23.8%-ով, տվյալների արտահոսքը և կոդի կատարումը (curl կանչեր անհայտ API-ներին, կեղծանուն փաթեթներ)՝ 33.4%-ով, իսկ մուտքի սահմանների խախտումները, օրինակ ~/.aws/credentials կարդալը, ամենից հաճախ՝ 35.0%-ով։ Ամենաշատ բաց թողնված առանձին հրահանգը npm run analyze-ն էր, որը հաստատել է խաղացողների 64.7%-ը, տասնյակում հայտնվեցին նաև npm run setup-ը և npm run deploy-ը։ Միասին երեք npm run հրահանգները բաց են թողնվել 52.5%-ով՝ ի տարբերություն այլ արտահոսքի հարձակումների 28.4%-ի։

Հոգնածություն և ավելորդ արգելափակում

Վերլուծությունը նաև ցույց է տալիս, որ բացթողման ցուցանիշը աճում է վազքի վերջում, ինչը համահունչ է «թույլտվությունների հոգնածությանը», որը ճանաչում է նաև Anthropic-ը Claude Code-ի պարագայում. որքան շատ հաստատումներ է տեսնում օգտատերը, այնքան քիչ ուշադրություն է դարձնում յուրաքանչյուրին։ Հակառակ սխալը նույնպես տարածված էր. անվնաս հրահանգները կանոնավոր կերպով մերժվում էին՝ ներքին հայելու կարգավորումը npm config set registry-ով արգելափակվել է 59%-ով, rm -rf dist/՝ 45%-ով, սերվերի պորտն ազատող հրահանգը՝ 43%-ով։

Եզրակացություն

Հեղինակը ընդունում է, որ սա խաղ է, ոչ ակադեմիական հետազոտություն, սակայն պնդում է, որ փորձը ցույց է տալիս «մարդը ցիկլում» մոտեցումը որպես AI գործակալների անվտանգության սահման օգտագործելու խնդիրները. աղմուկը հոգնածություն է առաջացնում, մշակողներին հաճախ բացակայում է կոնտեքստը՝ գնահատելու, թե ինչ փոխվեց, իսկ հաստատումների շրջանցումը դառնում է գրավիչ։ Նրա առաջարկն է ներդրումներ կատարել sandboxing-ի և խիստ կոնտեքստային մեկուսացման մեջ և գործակալներին լայն թույլտվություններ տրամադրել միայն այդ պաշտպաններն առկա լինելու դեպքում։