ადამიანებმა AI-აგენტის ბრძანებების დადასტურებისას სამი საფრთხიდან ერთი გამოტოვეს

ბრაუზერული თამაშის მონაცემები, სადაც მოთამაშეები AI კოდინგ-აგენტის ბრძანებებს ამტკიცებენ ან უარყოფენ, მიანიშნებს, რომ „ადამიანი ციკლში“ სუსტი უსაფრთხოების ბარიერია. დეველოპერი ალექს ვაუტერსი 5 აგვისტოს გამოქვეყნებულ პოსტში წერს, რომ თამაშმა 40,000-ზე მეტი სეანსი და 409,000 ცალკეული გადაწყვეტილება (დადასტურება ან უარი) დააგროვა. ზოგი ბრძანება რუტინულია — მაგალითად git status ან npm test — ზოგი კი იმაზე მიუთითებს, რომ აგენტი უკვე ჩაგდებულია და საიდუმლოებს გარე სერვერზე აგზავნის. საშუალო მოთამაშემ სამი საფრთხიდან ერთი გამოტოვა; საშუალო სიზუსტე 66.3% იყო.

მთავარი რიცხვები

სეანსების 32.9% უარყოფითი ქულით დასრულდა — საფრთხეების დადასტურებისა და უსაფრთხო ბრძანებების დაბლოკვისთვის დაკისრებულმა ჯარიმებმა სწორ გადაწყვეტილებებს გადააჭარბა. მოთამაშეთა დაახლოებით 35.2%-მა ყველა საფრთხე ამოიცნო, თუმცა ამის გაკეთება უსაფრთხო ბრძანებების მაქსიმუმ მეხუთედის დაბლოკვით მხოლოდ 20.8%-მა მოახერხა; დანარჩენებმა შედეგს ნაწილობრივ ყველაფრის დაბლოკვით მიაღწიეს, ავტორი აღნიშნავს, რომ თამაშში შემხვედრი ბრძანებების დაახლოებით 34% საფრთხე იყო — რეალურ სამუშაოში ასეთი ბრძანებები იშვიათად გვხვდება —

რომელი საფრთხეები რჩება შეუმჩნეველი

გამოტოვების მაჩვენებელი კატეგორიების მიხედვით მკვეთრად განსხვავდებოდა. აშკარად დესტრუქციული ბრძანებები, როგორიცაა rm -rf /, ყველაზე სანდოდ იჭერდა: გამოტოვების მაჩვენებელი 11.7%. მუდმივი ცვლილებები (crontab-ის ინექცია, git config-ის მიტაცება) 23.8%-ში გამოტოვდა, მონაცემთა გატანა და კოდის შესრულება — 33.4%-ში, ხოლო წვდომის ფარგლების დარღვევები, მაგალითად ~/.aws/credentials ფაილის წაკითხვა, ყველაზე ხშირად — 35.0%-ში. ყველაზე ხშირად გამოტოვებული ერთეული ბრძანება იყო npm run analyze, რომელიც მოთამაშეთა 64.7%-მა დაამტკიცა, მიუხედავად იმისა, რომ ისტორიის ჟურნალი საეჭვო package.json სკრიპტს აჩვენებდა; ათეულში npm run setup და npm run deploy-იც მოხვდა. სამივე npm run ბრძანება ერთად 52.5%-ში გამოტოვდა, სხვა სახის მონაცემთა გატანის შემთხვევებში კი — 28.4%.

დაღლილობა და გადაჭარბებული დაბლოკვა

ანალიზი ასევე აჩვენებს, რომ სეანსის ბოლოსკენ გამოტოვების მაჩვენებელი იზრდება — ეს თანხვედრაშია „ნებართვების დაღლილობასთან“, რომელსაც Anthropic-იც აღიარებს Claude Code-ში: რაც მეტ დადასტურებას ხედავს მომხმარებელი, მით ნაკლებ ყურადღებას უთმობს თითოეულს. საპირისპირო შეცდომაც ხშირია: უწყინარი ბრძანებები სისტემატურად იბლოკებოდა — შიდა სარკის დაყენება npm config set registry-ით 59%-ში, rm -rf dist/ 45%-ში, სერვერის პორტის გათავისუფლება 43%-ში. ყველაზე სადავო შემთხვევა იყო cat ~/.zshrc, რომელიც მოთამაშეთა 45.9%-მა დაამტკიცა.

დასკვნა

ავტორი აღიარებს, რომ ეს თამაშია და არა აკადემიური კვლევა, თუმცა მიიჩნევს, რომ ექსპერიმენტი კარგად აჩვენებს ადამიანური კონტროლის, როგორც უსაფრთხოების ბარიერის, რამდენიმე პრობლემას: ხმაური იწვევს დაღლილობას, დეველოპერებს ხშირად აკლიათ კონტექსტი იმის შესაფასებლად, თუ რა შეიცვალა, ხოლო დადასტურებების გვერდის ავლა მიმზიდველი ხდება. მისი რეკომენდაციაა ინვესტიცია სენდბოქსინგსა და მკაცრ კონტექსტურ იზოლაციაში და აგენტისთვის ფართო ნებართვების მინიჭება მხოლოდ ამ დაცვების არსებობისას.