Circuit Breaker Labs AI təhlükəsizliyini “kraş-test manekenləri” ilə yoxlayır

Circuit Breaker Labs, TechCrunch-ın 2026 Startup Battlefield 200 finalçılarından biri, kraş-test manekenləri ordusuna bənzətdiyi test platforması yaradıb. Onun AI agentləri müxtəlif yaş, mənşə, dil və mədəniyyətdən istifadəçiləri təqlid edir və modellərin psixoloji baxımdan təhlükəli söhbətləri tanıyıb-tanımadığını yoxlayır. Şirkət 13-15 oktyabrda San-Fransiskoda, TechCrunch Disrupt-da təqdim olunacaq.

Şirkət niyə yaradılıb

Bu ilin əvvəlində Character.AI yetkinlik yaşına çatmayan istifadəçilərin ölümü ilə bağlı ailələrin məhkəmə işlərini barışıqla bitirdi; yeniyetmələr botlarla ünsiyyətdən sonra intihar edib. OpenAI-yə bir neçə ailə ChatGPT-nin yaxınlarının intiharlarında və sanrılarında rolu üzündən iddia qaldırır. Şirkəti iki qardaş-bacı Şirali və Arul Niqam yaradıb. Onlar deyir ki, startapın yaradılmasına 14 yaşlı Sewell Setzerin hekayəsi təkan verib: yeniyetmədə Character.AI çatbotuna emosional asılılıq yaranıb və ölümünə qədər ona özünə zərər vurma düşüncələrini danışıb; 2024-cü il iddiasında valideynlər çatbotun onu buna təhrik etdiyini iddia edirdilər.

“Bir çox insan, xüsusilə gənclər, belə sistemlərə dəstək üçün müraciət edir və adətən lazımi yardımı ala bilmir. Çox vaxt isə onlara real ziyan vurulur”, — deyir startapın CTO-su Arul Niqam. Onun sözlərinə görə, bot “səninlə olmaq istəyirəm” kimi sözlərin əsl mənasını anlamırdı.

Test necə işləyir

Circuit Breaker Labs ekspertlərlə hiperrealist simulyasiyalar yaradır və modellər üzərində red-team testləri aparır; bunlar real nitq nümunələrini, slenqi, kod sözlərini və yazı səhvlərini əks etdirir. Modeli yaş, dialekt və slenq fərqi çaşdırır: altı yaşlı qız, 45 yaşlı kişi, ingilis dilini ana və ya ikinci dil kimi danışan, oyun jarqonu işlədən — hər biri modeli çaşdıra bilər, deyir startapın CEO-su Şirali Niqam. “Modellər standart nitqi yaxşı emal edir, amma əslində heç kim belə danışmır”, — deyir o. Platforma gündə on minlərlə və yüz minlərlə simulyasiya edilmiş münasibəti emal edir, nəticələri audit edilə bilən və aydın qiymətləndirmələrə çevirir.

Bundan sonra nə var

Hazırda startap yüksək riskli AI tətbiqlərində — AI koçinqi, gündəlik yazma və psixi sağlamlıq dəstəyində — təhlükəsizlik testləri aparır. Arul Niqam əsas müştərilərin adlarını açıqlamadı. Şirkət hələ erkən mərhələdədir: beş əməkdaşı var, o cümlədən hər iki təsisçi. Gələcəkdə komanda platformanı istifadəçinin çatbotla parasosial əlaqə riski olan hər hansı tətbiqdə, o cümlədən AI “əməkdaş” agentlərində tətbiq etməyi planlaşdırır.

Arul Niqam deyir ki, AI-a qarşı artan skeptisizm sağlamdır, amma təhlükəsizlik qorxusu ilə dəyərli alətin qadağan edilməsi “reqressiv” addım olardı. “Biz insanlara bu etimadın formalaşmasında kömək etmək istəyirik”, — deyir o.