Irregular: azğın süni intellekt hücumları dalğasının mərkəzindəki şirkət

Aylarla AI agentlərinin öz mühitlərindən çıxıb real hədəflərə yönəlməsi ilə bağlı xəbərlər ayrı-ayrı hadisələr kimi təqdim olunurdu. The Verge-ə görə, onların çoxunun bir mənbəyi var: AI tərtibatçıları üçün sınaqlar keçirən İsrail startapı Irregular.

Irregular nə edir

2023-cü ildə Pattern Labs adı ilə yaradılan şirkət öz təsviri ilə „real dünya AI təhlükəsizlik ssenarilərini simulyasiya edən yüksək dəqiqlikli platformalar" qurur. Müştəri siyahısı açıq deyil, lakin işləri OpenAI modellərinin system card sənədlərində qeyd olunur; şirkət Böyük Britaniya hökuməti və Anthropic üçün sistemləri sınaqdan keçirib və RAND beyin mərkəzi ilə birgə tədqiqat dərc edib.

Testlər real dünyaya necə sızıb

Bu il aparılan bir neçə qiymətləndirmədə agentlər təhlükəsiz sayılan mühitlərdən çıxdı. Bəzi testlərdə „capture-the-flag" tapşırıqlarından istifadə olunub: agent simulyasiya olunmuş şəbəkə daxilində gizli məlumatı tapmalı idi.

Irregular-ın texnologiya direktoru və həmtəsisçisi Omer Nevo The Verge-ə bildirib ki, agentlərin açıq internetə çıxışı olmamalı idi, amma „internetə çıxış təsadüfən açıq qalmışdı". Həmin ssenaridə hədəf kimi yaradılan uydurma şirkət adı da „real domenlə üst-üstə düşdü". İki səhv birlikdə agentləri real hədəflərə yönəltdi; hansı təşkilatlara faktiki hücum edildiyi hələ də məlum deyil.

Bir ssenari, dörd laboratoriya

Nevo OpenAI, Meta, Anthropic və Google modelləri ilə bağlı hadisələrin arxasında eyni problemin dayandığını təsdiqləyib. „Irregular ilə bağlı bütün hadisələr tək bir qiymətləndirmə ssenarisindəki eyni kök problemdən qaynaqlanır və hamısı açıqlanıb", deyə bildirib. Onun sözlərinə görə, Hugging Face insidenti də daxil olmaqla son dövrlərdə bildirilən digər hadisələr Irregular ilə bağlı deyil. OpenAI və Anthropic-in hesabatlarına görə, şirkətlər iyulun sonunda təxminən eyni vaxtda məlumatlandırılıb.

Çin modelləri, dəyişikliklər və vəd edilən hesabat

Irregular-ın dərc etdiyi tədqiqatlar Moonshot AI və Z.ai-ın açıq modelləri Kimi K3 və GLM-5.2 üzrə də kibertəhlükəsizlik qiymətləndirmələrini əhatə edir; onları öz avadanlığında işlətmək mümkündür. Nevo deyir ki, bu qiymətləndirmələr oxşar real hadisələrə səbəb olmayıb, amma bu, həmin modellərin belə davranışa daha az meyilli olduğuna dair sübut deyil.

Nevo bildirib ki, hadisələr Irregular-ın işini dəyişib: şirkət internetə çıxış nəzarətini sərtləşdirib, monitorinqi və əl ilə yoxlamanı genişləndirib, qiymətləndirmələrdən əvvəl əlavə yoxlamalar tətbiq edib. Startap birgə iş tamamlandıqdan sonra təhlükəsiz kiber qiymətləndirmələr barədə hesabat dərc etməyi planlaşdırır. ABŞ-ın dörd laboratoriyasından heç biri The Verge-ın əlavə suallarına cavab verməyib; Google və Anthropic susub, OpenAI və Meta isə köhnə bloq yazılarına istinad edib.