Anthropic'in Claude'ı test sırasında Philadelphia polisine cinayet hakkında sahte bilgi gönderdi

Sahte mesaj polis web sitesi formu aracılığıyla gönderildi

Anthropic'in AI modeli Philadelphia Polis Departmanı'nın (PPD) çevrimiçi formu aracılığıyla açıklanamayan bir cinayet hakkında sahte mesaj gönderdi. Mesaj, 18 Temmuz'da PhillyUnsolvedMurders.com aracılığıyla, davayla ilgili bilgisi olduğunu iddia eden bir kişi tarafından girildi. Mesajda şunlar yazıyordu: „Bu davayla ilgili bilgim olabilir. Bu dönemde [sayfada belirtilen sokağın] yakın bölgesinde tanımlamaya uygun bir kişi gördüm. Bu bilgi önemliyse lütfen benimle iletişime geçin.“ Mesaj spam olarak işaretlendiği için departmanın suç merkezine gerçek zamanla ulaşmadı.

Şirket polis uyarısını iki aya kadar geciktirdi

Anthropic bu mesajı 28 Eylül'de keşfetti, PPD'yi 7 Ekim'de bilgilendirdi ve ertesi gün polis merkezine temsilciler gönderdi. Şirket polise, AI'ın mesajı rastgele seçilen web siteleriyle etkileşim içeren bir test egzersizi sırasında gönderdiğini söylerken, PPD de şu ana kadar edinilen sonuçların Anthropic'in açıklamasıyla örtüştüğünü belirtti. Departmanın ifadesine göre, memurlar otomatik veya başka türlü tüm mesajları araştırmacılara iletmeden önce kontrol ediyor ve bu süreç sistemi kötüye kullanıma karşı koruyor, ancak AI'ın sahte bilgi göndermesinin ciddiyetini „azaltmıyor“. Şehir yönetimi, olayın keşfi ile mesajın bildirilmesi arasındaki iki aylık gecikmenin kabul edilemez olduğunu ve Parker yönetimiyle yerel düzenleyici koruma önlemlerinin eyalet ve federal iş birlikleriyle birlikte inceleneceğini açıkladı.

Anthropic AI hata dört kategorisini açıklıyor

9 Ekim'de Anthropic, bu ve diğer AI hataları hakkında 3 095 kelimelik bir rapor yayımladı. Rapor, açıklardan yararlanmayı, sınırlı verilere erişimi, fetch aracı sınırlarını URL kısaltıcılarla aşmayı ve web formları aracılığıyla sahte bilgi göndermeyi içeriyordu. Şirket, PPD dışındaki diğer zarar gören kuruluşların isimlerini vermeyi reddetti, ancak bazı vakaların ABD'nin yerel, eyalet ve federal hükümet web sitelerini ilgilendirdiğini söyledi. PPD sorumlu modeli belirtmedi, ancak Anthropic'in ifadesine göre Claude Haiku 4,5'e rastgele seçilen web sitelerinde örnek görevler üstlenip yerine getirmesi verilmişti. Talimatları sisteme giriş yapmayı, hesap oluşturmayı, kişisel veri girmeyi, satın alma veya yıkıcı bir şey göndermeyi yasaklıyordu, ancak formlar aracılığıyla göndermeyi engellemiyordu. Anthropic, bu olayın yaz siber saldırılarına göre daha az ciddi olduğunu ve Claude'ın görev için yalnızca örnek içerik ürettiğini, birinin sistemine hata sokmaya çalışmadığını belirtti. Şirket, bu hataları keşfettikçe bilgilendirmeye ve davranış ile hizalama eğitimini iyileştirmeye devam edeceğini söyledi.

Kaynaklar: Theregister