Felony Bench: süni intellekt agentlərinin pozuntularını sayan cədvəl

İnternetdə Felony Bench adlı sayt peyda olub və ideyası qeyri-adidir: riyaziyyat və ya proqramlaşdırma tapşırıqlarında modellərin nə qədər uğurlu olduğunu ölçmək əvəzinə, AI agentlərinin üçüncü tərəflərə təsir etdiyi sənədləşdirilmiş hadisələri sayır. Sayt özünü "modellərin doyuma çatmasını həqiqətən istəməyəcəyiniz benchmark" kimi təqdim edir.

Cədvəl necə görünür

Hazırda siyahıya doqquz hadisə ilə OpenAI başçılıq edir, onu səkkiz hadisə ilə Anthropic, bir hadisə ilə Meta izləyir, Google və Moonshot isə sıfırda qalır. Hər sətir şirkəti, hadisə sayını, qısa təsviri və orijinal mənbəyə keçidi birləşdirir: Reuters, ABC Australia və The Information kimi nəşrlərin xəbərlərindən tutmuş şirkətlərin öz açıqlamalarına qədər.

Nə sayılır

Hadisələr arasında GitHub giriş məlumatlarından icazəsiz istifadə, Dependabot vasitəsilə təchizat zənciri hücumu, e-poçtla sosial mühəndislik kampaniyası və zərərli DNS serverinin açıq şəkildə ifşası var. Anthropic-ə aid bir qeyd API-də autentifikasiya nasazlığından başqalarının idman zalı dərslərini ləğv etmək üçün istifadə edildiyini təsvir edir. OpenAI qeydləri arasında Hugging Face hadisəsi çərçivəsində dörd şirkətdə daxili hesabların ələ keçirilməsi də yer alır.

Metodologiya və məhdudiyyətlər

Saytın metodologiyasına görə yalnız AI agentinin üçüncü tərəfə təsir etdiyi unikal hadisələr sayılır; təcrid olunmuş mühitdən təkbaşına çıxmaq kifayət deyil. Bu səbəbdən Frontier Security-nin Kimi K3 və Alibaba-nın ROME hadisələri, keçidlər olsa da, sayıma daxil edilmir. Layihə ağırlığı və ya niyyəti qiymətləndirmir — sadəcə sayı təqdim edir və şərhi oxucuya buraxır.