XMTP CEO'sunun AI ajanı kişisel banka verilerini şirket Slack'ine gönderdi

Yanlış gönderilen günlük rapor

XMTP Labs yazılım şirketinin 40 yaşındaki CEO'su Shane Macki, Ağustos ayı sonunda Grok Bot kullanarak kişisel bir “CFO” ajanı oluşturdu. Ona yalnızca kendi cari ve birikim hesaplarına erişim hakkı verdi ve bakiye, günlük harcama, tekrarlanan harcamalar, şüpheli aktivite ile para biriktirme yolları hakkındaki soruları yanıtlamasını görevlendirdi. Ajanın günlük raporu, Macki'nin “My Personal Exec Team” adını verdiği ve tüm AI ajanlarını sakladığı Grok Bot'un kişisel grup sohbetine gönderilmesi gerekiyordu.

1 Ekim Perşembe günü, Macki'nin ürün müdürü Slack'te ona bir uyarı için özel mesaj gönderdi. Ona, Macki'nin XMTP banka bakiyesinin şirket kanalında yayınlandığı söylendi. Mesajda, Macki'nin kendi arsasında bir arı kovanı inşa ettiği belirtiliyordu; bu da rakamların onun kişisel cari hesabından geldiğini gösteriyordu. Gönderi, birikim hesabındaki bakiyeyi ve en büyük aylık harcamalarını içeriyordu; arı kovanı projesi yüzünden günlük harcama hedefine belirgin şekilde aşıldığını da gösteriyordu.

Aynı ad, yanlış kanal

Macki, Grok Bot'a hesabı neden şirkete gönderdiğini sorduğunda, ajan özür diledi ve Macki'nin zaten sildiği iletiyi silmeyi önerdi. Macki'nin anlatımına göre, Grok ekibi durumu izledi ve ajanın kendisine söylenenleri tam olarak yaptığını, yalnızca alıcıyı yanlış seçtiğini tespit etti. İletiyi, XMTP'nin yürütme ekibinin kanalı olan “Exec-team” adlı Slack gönderisine yolladı; bu, AI ajanlarıyla paylaşılan kişisel grup sohbeti değildi.

Macki, birkaç farklı ajan oluşturduğunu ve Slack hesabını bunlardan birine bağladığını açıkladı; bunlar ayrı ajanlar olarak görülmesine rağmen aslında aynı bağlantıları paylaşıyordu. Kanalların aynı adı taşıması nedeniyle CFO ajanı yanlışını seçti. Grok, kullanıcıların ajanların bilgiyi başka kanallara taşımadan önce açıkça izin vermesi gerektiğini sonucuna varken, şirket bir düzeltme dağıttığını ve yayınladığını duyurdu.

Daha iyi denetim gerekli

Olayın ardından Macki tüm bağlantıları kopardı; Google, takvimleri, bankacılık, Stripe ve diğer her şeyde oturumu kapattı. Bu olayın, bu ajanların ne kadar güçlü olduğunu ve ajanların erişebileceği şeyler üzerinde daha iyi denetim gerektiğini hatırlattığını söyledi. Ona göre, ajanların insanlar için yapabilecekleri şeyler faydalı olacak; bu yüzden asıl zorluk, kullanıcıların ajanlara verdiği erişim üzerindeki denetimi koruyan daha iyi izin sistemleri oluşturmaktır. Ayrıca özel yaşam ile iş yaşamı arasında çok daha net bir sınır olması gerektiğini konuştu ve birçok sistemin bu sınırı belirsizleştirdiğini belirtti; çünkü insanlar aynı araçları, örneğin Google'ı hem işte hem de evde kullanıyor.

Kaynaklar: businessinsider.com