Circuit Breaker Labs, AI güvenliğini „kaza testi mankenleriyle" test ediyor

TechCrunch'ın 2026 Startup Battlefield 200 finalistlerinden biri olan Circuit Breaker Labs, kaza testi mankenlerinin ordusunu kullanan bir test platformu oluşturdu. Yapay zeka ajanları farklı yaş, köken, dil ve kültürden kullanıcıları kışkırtıyor ve modellerin psikolojik olarak tehlikeli konuşmaları tanıyıp tanımadığını test ediyor. Şirket 13-15 Ekim'de San Francisco'daki TechCrunch Disrupt'ta tanıtılacak.

Neden kuruldu

Bu yılın başında Character.AI, ailelerin reşit olmayan kullanıcılarının ölümlerinden dolayı açtığı davaları art arda kaybetti; ergenler botlarla ilişki sonrası intihar etti. OpenAI'ı da birkaç aile, ChatGPT'nin olası rolü nedeniyle yakınlarının intihar ve yaralanmalarından dolayı şikayet etti. Şirket, kardeşler Shirali ve Arul Nigam tarafından kuruldu; onlara göre girişimin kurulmasına 14 yaşındaki Suel Setzer'in hikayesi yol açtı: ergen, Character.AI'nin sohbet botuna duygusal bağımlılık geliştirdi ve kendine zarar verme düşüncelerini paylaştı; 2024'teki davada ebeveynler sohbet botunun bunu teşvik ettiğini iddia etti.

„Birçok insan, özellikle gençler, bu tür sistemlere destek için başvurur ve genellikle gerekli yardımı alamaz. Çoğu durumda onlara gerçekten zarar verirler", diyor girişimin CTO'su Arul Nigam. Ona göre bot, „seninle olmak istiyorum" gibi kelimelerin gerçekte ne anlama geldiğini anlamıyor olabilir.

Testler nasıl çalışıyor

Circuit Breaker Labs, alan uzmanlarıyla birlikte hipergerçekçi simülasyonlar oluşturuyor ve modeller üzerinde kırmızı takım testleri yürütüyor; bu testler gerçek konuşma örneklerini, argoyu, kod kelimelerini ve yazım hatalarını yansıtıyor. Modeli yaş, lehçe veya argo farklılıklarıyla zorluyor: altı yaşında bir kız çocuğu, 45 yaşında bir adam, İngilizceyi anadil olarak veya ikinci dil olarak konuşan biri, gamer jargonu kullanan bir kullanıcı — her biri modeli tıkayabilir, diyor girişimin CEO'su Shirali Nigam. „Modeller standart konuşmayı iyi işliyor ama gerçekte kimse böyle konuşmuyor", diyor. Platform günde on binlerce ve yüz binlerce simüle etkileşimi işliyor, sonuçları kendi metodolojisiyle denetlenebilir ve anlaşılır değerlendirmelere dönüştürüyor.

Sıradaki ne

Şu anda girişim, yüksek riskli AI uygulamalarında — AI koçluk, günlük oluşturma ve ruh sağlığı destek uygulamaları dahil — güvenlik testleri yürütüyor. Arul Nigam, ana müşterilerin isimlerini açıklamadı. Şirket henüz erken aşamada: beş çalışanı var, ikisi de kurucu. Gelecekte ekip, platformun sohbet botlarıyla parasosyal ilişki geliştirme riski taşıyan herhangi bir uygulamada kullanılmasını planlıyor, bunlar arasında AI „iş arkadaşı" ajanları da var.

Arul Nigam'a göre, yapay zekaya yönelik artış gösteren şüphecilik sağlıklı, ancak güvenlik korkusuyla potansiyel olarak değerli bir aracı yasaklamak „gerici" bir adım olurdu. „İnsanların bu güveni yeniden inşasına yardımcı olmak istiyoruz", diyor.