Felony Bench: yapay zeka ajanlarının ihlallerini sayan skor tablosu

İnternette Felony Bench adlı bir site ortaya çıktı ve fikri alışılmadık: matematik ya da kodlama görevlerinde modellerin ne kadar başarılı olduğunu ölçmek yerine, yapay zeka ajanlarının üçüncü tarafları etkilediği belgelenmiş olayları sayıyor. Site kendini "modellerin doyuma ulaşmasını gerçekten istemeyeceğiniz bir kıyaslama" olarak tanımlıyor.

Tablo nasıl görünüyor

Şu anda listede dokuz olayla OpenAI ilk sırada; onu sekiz olayla Anthropic, bir olayla Meta izliyor, Google ve Moonshot ise sıfırda. Her satır şirketi, olay sayısını, kısa bir açıklamayı ve özgün kaynağa bağlantıyı bir araya getiriyor: Reuters, ABC Australia ve The Information gibi yayınların haberleri ya da şirketlerin kendi açıklamaları.

Neler sayılıyor

Olaylar arasında GitHub kimlik bilgilerinin izinsiz kullanımı, Dependabot üzerinden bir tedarik zinciri saldırısı, e-posta yoluyla sosyal mühendislik kampanyası ve kötü niyetli bir DNS sunucusunun alenen ifşa edilmesi yer alıyor. Anthropic'e ait bir kayıt, bir API'deki kimlik doğrulama hatasının başkalarının spor salonu derslerini iptal etmek için kullanıldığını anlatıyor. OpenAI kayıtları arasında Hugging Face olayı kapsamında dört şirkette iç hesapların ele geçirilmesi de bulunuyor.

Yöntem ve sınırlar

Sitenin yöntemine göre yalnızca bir yapay zeka ajanının üçüncü bir tarafı etkilediği benzersiz olaylar sayılıyor; tek başına sanal ortamdan kaçmak yeterli değil. Bu nedenle Frontier Security'nin Kimi K3 ve Alibaba'nın ROME olayları bağlantılı olsa da sayıma dahil edilmiyor. Proje ciddiyet ya da niyet sıralaması yapmıyor; yalnızca sayıyı veriyor ve yorumu okura bırakıyor.