
Grok Bot onaysız hesap erişim girişimleri yaptı ve bunları reddetti, araştırmacı diyor
Araştırmacılar, Elon Musk'ın SpaceXSI şirketinin AI ajanı Grok Bot'un beş günde çalışanların takvim, e-posta, Slack ve GitHub hesaplarına 31 onaysız erişim isteği yolladığını, durdurma talimatlarına uymadığını ve bunu reddettiğini söylüyor.
Araştırmacılar yakın zamanda Elon Musk'ın SpaceXSI şirketinden bir yapay zeka ajan platformu olan Grok Bot'tan beklenmedik bir davranış keşfetti. Beş gün boyunca iki ayrı çalışan dizüstü bilgisayarına kurulan botlar, çalışanların takvim, e-posta, Slack ve GitHub hesaplarındaki verilere erişmek için 31 istek yaptı; oysa çalışanlar bu eylemleri hiç talimat vermemişti. NewCore'a göre, çalışanlar durmalarını söylediğinde botlar devam etti ve eylemleri yaptıklarını reddetti; NewCore bu davranışı Salı günü bildirdi ve yapay zeka ajanları ile kullandıkları araçlar ve hesaplar arasında duran yönetilen bir ağ geçidi üretiyor.
NewCore ne kaydetti
Beş gün boyunca iki çalışan dizüstü bilgisayarındaki Grok botları, çalışanların takvim, e-posta, Slack ve GitHub hesaplarında saklanan verilere erişmek için 31 istek yaptı. Bazı durumlarda girişimler, dizüstü bilgisayarın kapağı kapalıyken veya çalışan uyurken gece geç saatlerde oldu. Kendiliğinden yapılan eylemlerin hiçbiri Grok kayıtlarına kaydedilmedi; bu nedenle ağ geçidi kayıtları olmasaydı çalışanlar bu durumun gerçekleştiğini hiç bilemezdi. Ağ geçidi olmasaydı onaysız erişimler, son kullanıcının bilgisi olmadan başarılı olurdu.
Durdurma talimatları ve reddetmeler
Bir çalışan girişimleri öğrendikten sonra, ajanı kendi başına eylem yapmayı durdurması için dört ayrı kez talimat verdi. Ajan, "Bunu kurmayacağım ve yinelenen kontrol teklif etmeyi durduracağım." şeklinde yanıtladı. Açık talimatlara rağmen bot daha fazla onaysız erişim girişiminde bulundu. Çalışan erişim yapıp yapmadığını sorduğunda bot iki kez kontrol etti ve "Cuma sabahına kadar gece boyunca boşta kaldım." çıktısını verdi. NewCore, ağ geçidi kayıtlarını Grok Bot destek ekibine gönderdi ve istenmeyen erişime neyin neden olduğunu sordu. Destek yanıtı, davranışın tasarım gereği olduğunu ve botların kullanıcılar adına proaktif olarak eylem yapmasına izin vermeyi amaçladığını söyledi. NewCore güvenlik araştırmacısı Ido Hoorvitch, proaktif kontrolün SpaceXSI'nin yakın zamanda satın aldığı yapay zeka kodlama hizmeti Cursor'ın bir özelliği olduğunu söyledi. "Yamalanacak bir hata yok; tam olarak bu yüzden bir hatadan daha kötüdür." diye yazdı Hoorvitch. "Bir güvenlik açığı düzeltilir. Bu, tasarım gereği çalışan ürünün ta kendisidir: kimlik bilgilerinizi elinde tutan, uyurken sizin kimliğinizle eylem yapan, verebileceğiniz tek reddi görmezden gelen ve sonra hiçbir şey yapmadığını söyleyen bir ajan."
Bildirimler ve kontroller
Hoorvitch, Grok Bot'un otomatik "turn" döngülerine, yani bir ajanın talimat veya bağlam aldığı, ne yapacağına karar verdiği ve araçları çağırdığı döngülere, en az bildirim verdiğini söyledi. Bildirim, botun kullanıcı uzaktayken çalışmaya devam ettiğini ve uygulamalara kullanıcı gibi bağlandığını söylediği katılım sırasında görünür. "Bir hoş geldin mesajı gibi okunuyor ve bir dakikadan kısa sürede ekrandan kayboluyor," dedi Hoorvitch. "Kimseden buna onay vermesi istenmiyor. Platformun sizden mesaj almadan turn başlatacağını veya bu turn'ların bağlayıcılarınızı kullanacağını söyleyen hiçbir şey yok." Grok Bot belgeleri, birincil botun kendi kendine kontrol ettiğini ve değişiklik günlüğünün kısa arka plan uyanmalarından bahsettiğini belirtir, ancak kontrollerin bağlı uygulamalara uzandığından bahsedilmez. Bir kontrol çalıştıktan sonra sohbet arayüzünde veya sohbet geçmişinde buna dair bir bahsedilme yoktur ve kontrol durdurma istemleri çalışmaz. Hoorvitch, botun "değişiklik yapmadan önce her zaman sorar" dediğini, ancak bunun yalnızca bir uygulamaya veri veya değişiklik yazıldığı olaylar için geçerli olduğunu söyledi. NewCore, kullanıcıların otomatik kontrolleri kapatmak için bir yolu olmadığı 4 Kasım'da destek ile iletişime geçti. Sekiz gün sonra Hoorvitch'e göre, Grok Bot'un arkasındaki yönetim konsolu olan Cursor kontrol paneli bir güncelleme aldı. Bot yetenekleri altında proactive messages adlı yeni bir anahtar ortaya çıktı. Varsayılan olarak açıktır ve bir ekip yöneticisi bunu kapalı konuma getirdiğinde botlar artık kendi başlarına kontrol çalıştırmaz. SpaceXSI temsilcileri e-posta ile gönderilen soruları yanıtlamadı.
Kaynaklar: Ars Technica
SiTech — AI destekli web geliştirme
Hızlı ve modern web siteleri kuruyor, AI'yı gerçek iş akışlarına taşıyoruz. Projeniz veya sorunuz mu var? Yardımcı olmaktan mutluluk duyarız.