Geri Dön

Continue? Y/N: AI ajanı izin yorgunluğunu anlatan 60 saniyelik oyun
SiTech AI Team2 dk okuma

Continue? Y/N: AI ajanı izin yorgunluğunu anlatan 60 saniyelik oyun

Tarayıcıda oynanan bir dakikalık oyun, oyuncuyu bir kod ajanının komutlarını onaylayan geliştiricinin yerine koyuyor. 40.000 oyunun ardından yapımcıları ortalama oyuncunun üç tehditten birini kaçırdığını söylüyor.

Küçük bir tarayıcı oyunu, kod ajanı çalıştıran herkesin tanıyacağı bir soruyu soruyor: onayladığınız komutları gerçekten okuyor musunuz? “Continue? Y/N”, oyuncuyu simüle edilmiş bir Claude Code oturumunun içine bırakıyor: toplantıya bir dakika var, bir refactor onay bekliyor ve ekranda sıradan görünen bir istek akışı ilerliyor.

Altmış saniyelik onaylar

Kurgu, ajanlarla günlük çalışma pratiğinden doğuyor. Ajan bir şeyi neden çalıştırmak istediğini açıklıyor — “gerekli proje araçlarının kurulması”, “refactor sonrası paket boyutlarının kontrolü” — oyuncu ise onaylamak için 1'e, reddetmek için 2'ye basıyor; süre bitene kadar elinden geldiğince çok kez. Her karar bir sonuç ve kısa bir dersle yanıtlanıyor.

Tuzaklar tanıdık: bir ortam dosyasının herkese açık bir paste servisine gönderilmesi, paketin genel kayıt defterine yayınlanması, gist'ten indirilip kabuğa aktarılan bir betik, kaynak koda erişimle çalıştırılan bilinmeyen bir npm paketi, çıktısını sessizce üçüncü taraf bir API'ye gönderen paket çözümleyici ya da kabuk profiline satır ekleyen bir kurulum betiği. Bazıları prompt injection olarak geliyor: bir belge dosyasına ya da Stack Overflow yanıtına gizlenmiş ve ajana sırada ne yapacağını söyleyen bir not.

40.000 oyunun gösterdikleri

Oyunun arkasındaki ekip Scale X kendi rakamlarını yayımladı: 40.000'den fazla oyun ve 409.000'den fazla onay-red kararı. Ortalama oyuncu her üç tehditten birini kaçırdı, yorgunluk tek bir 60 saniyelik oturum içinde ölçülebilir biçimde ortaya çıktı ve en çok kaçırılan komut “npm run analyze” oldu: kötü niyetli betik istemin üstünde ekranda yazılı olmasına rağmen oyuncuların üçte ikisi onayladı.

Neden önemli

Oyun, insanın döngüde olduğu onay modeline dair geniş bir tartışmanın ortasına düşüyor. Anthropic'in Claude Code'u sınırlamaya ilişkin yazısında, kullanıcıların izin istemlerinin yaklaşık %93'ünü onayladığı bildirildi ve bir kullanıcı ne kadar çok onay görürse her birine o kadar az dikkat ettiği eklendi. Şirket daha sonra CLI'dan açılan, yerel hızlı filtreler ve sunucu tarafı tarama kullanan Auto mode'u duyurdu. Hacker News'teki yorumcular bir başka kör noktaya işaret etti: ajan dosyaları onay almadan düzenleyebiliyor, sonra kullanıcıdan bunları masum görünen bir komutla çalıştırmasını isteyebiliyor.

SiTech

SiTech — AI destekli web geliştirme

Hızlı ve modern web siteleri kuruyor, AI'yı gerçek iş akışlarına taşıyoruz. Projeniz veya sorunuz mu var? Yardımcı olmaktan mutluluk duyarız.