İstifadəçilər AI agentinin əmrlərini təsdiqləyərkən hər üç təhlükədən birini buraxdı

Oyunçuların AI kod agentinin əmrlərini təsdiqlədiyi brauzer oyunundan alınan məlumatlar "dövrədə insan" nəzarətinin zəif təhlükəsizlik sərhədi olduğunu göstərir. Avqustun 5-də dərc olunan yazıda tərtibatçı Aleks Vauters oyunun 40 000-dən çox sessiya və 409 000 fərdi təsdiq/rədd qərarı topladığını bildirir. Orta oyunçu hər üç təhlükədən birini buraxdı; orta dəqiqlik 66,3% oldu.

Əsas rəqəmlər

Sessiyaların təxminən üçdə biri — 32,9% — mənfi nəticə ilə bitdi: təhlükələri təsdiqləmək və təhlükəsiz əmrləri bloklamaq üçün verilən cərimələr düzgün edilən hər şeyi üstələdi. Oyunçuların təqribən 35,2%-i bütün təhlükələri tutdu, lakin buna ən çoxu beş təhlükəsiz əmrdən birini bloklamaqla nail olanların payı yalnız 20,8% oldu; qalanlar buna qismən hər şeyi bloklamaqla çatdı. Oyunçuların 7%-i isə bütün sorğuları təsdiqlədi. Müəllif bir xəbərdarlıq qeyd edir: oyunda görünən əmrlərin təxminən 34%-i təhlükə idi — gündəlik işdə bu nisbət çox aşağıdır — amma sürətli buraxılış təzyiqi real layihələrdə də oxşar tələsik təsdiqlərə səbəb ola bilər.

Hansı təhlükələr yayınır

Buraxma nisbətləri kateqoriyaya görə kəskin fərqləndi. rm -rf / kimi açıq dağıdıcı əmrlər ən etibarlı şəkildə tutuldu: 11,7% buraxma. crontab inyeksiyası və ya git config ələ keçirilməsi kimi daimi dəyişikliklər 23,8% hallarda, məlumat sızması və kod icrası (naməlum API-lərə curl müraciətləri, saxta adlı paketlər) 33,4% hallarda, ~/.aws/credentials oxumaq kimi səlahiyyət sahəsi pozuntuları isə ən çox — 35,0% hallarda buraxıldı. Ən çox buraxılan tək əmr oyunçuların 64,7%-nin təsdiqlədiyi npm run analyze oldu, halbuki oyunun tarixçə jurnalı package.json-da şübhəli skript göstərirdi; npm run setup və npm run deploy da ilk onluğa düşdü. Üçü birlikdə npm run əmrləri 52,5% hallarda buraxıldı, digər sızma tipli hücumlarda isə bu göstərici 28,4% oldu.

Yorğunluq və həddindən artıq bloklama

Təhlil həmçinin sessiyaların sonuna doğru buraxma nisbətinin artdığını göstərir ki, bu da Anthropic-in Claude Code ilə bağlı qəbul etdiyi "icazə yorğunluğu" ilə üst-üstə düşür: istifadəçi nə qədər çox təsdiq görürsə, hər birinə bir o qədər az diqqət yetirir. Əks səhv də geniş yayılmışdı: zərərsiz əmrlər müntəzəm olaraq rədd edilirdi — daxili güzgünün qurulması npm config set registry ilə 59% hallarda, rm -rf dist/ 45%, server portunu azad edən əmr 43% hallarda bloklandı.

Nəticə

Müəllif bunun akademik tədqiqat deyil, oyun olduğunu qəbul edir, lakin təcrübənin "dövrədə insan" yanaşmasının AI agentləri üçün təhlükəsizlik sərhədi kimi istifadəsindəki problemləri göstərdiyini müdafiə edir: səs-küy yorğunluq yaradır, tərtibatçılara nəyin dəyişdiyini qiymətləndirmək üçün kontekst çatmır və təsdiqləri yan keçmək cəlbedici olur. Onun tövsiyəsi sandboxing və ciddi kontekst izolyasiyasına sərmayə qoymaq və agentlərə geniş icazələri yalnız bu qoruyucular mövcud olduqdan sonra verməkdir.