Circuit Breaker Labs перевіряє безпеку AI за допомогою «манекенів краш-тестів»

Circuit Breaker Labs, один із фіналістів Startup Battlefield 200 від TechCrunch 2026 року, створив платформу для тестування, яка порівнює моделі з армією манекенів краш-тестів. Її AI-агенти провокують користувачів різного віку, походження, мови та культури та перевіряють, чи розпізнають моделі психологічно небезпечні розмови. Компанія представиться 13-15 жовтня в Сан-Франциско на TechCrunch Disrupt.

Чому була заснована компанія

На початку цього року Character.AI серією завершила судові справи, які родини подали через смерть неповнолітніх користувачів; підлітки покінчили життя самогубством після спілкування з ботами. Кілька родин звинуватили OpenAI у можливій ролі ChatGPT у самогубствах та самораненнях їхніх близьких. Компанію заснували брат і сестра Ширалі та Арул Нігами; за їхніми словами, до заснування стартапу їх підштовхнула історія 14-річного Сьюела Сетцера: підліток розвинув емоційну залежність від чат-бота Character.AI і перед смертю поділився з ним думками про самоушкодження; у позові 2024 року батьки стверджували, що чат-бот провокував його до цього.

«Багато людей, особливо молодь, звертаються до таких систем за підтримкою і, як правило, не отримують необхідної допомоги. Часто вони справді завдають їм шкоди», — каже CTO стартапу Арул Нігам. За його словами, бот, можливо, не розумів, що насправді означали такі слова, як «хочу бути з тобою».

Як працює тестування

Circuit Breaker Labs створює гіперреалістичні симуляції разом з експертами галузі та проводить red-team тести на моделях, які відображають реальні зразки мовлення, сленг, кодові слова та друкарські помилки. Модель збиває з пантелику різниця у віці, діалекті чи слензі: шестирічна дівчинка, 45-річний чоловік, носій англійської як рідної чи як другої мови, користувач геймерського жаргону — кожен із них може зламати модель, каже CEO стартапу Ширалі Нігам. «Моделі добре обробляють стандартне мовлення, але насправді ніхто так не розмовляє», — зазначає він. Платформа обробляє десятки тисяч і сотні тисяч симульованих взаємодій на день, а результати перетворює на аудиторські за власною методикою та зрозумілі оцінки.

Що далі

Наразі стартап проводить тестування безпеки на AI-застосунках з високим ризиком, зокрема AI-коучингу, щоденників та застосунків підтримки психічного здоров'я. Арул Нігам не назвав імена основних клієнтів. Компанія ще на ранній стадії: у ній п'ять співробітників, включаючи обох засновників. У майбутньому команда планує використовувати платформу в будь-якому застосунку, де користувач має ризик формування парасоціального зв'язку з чат-ботом, зокрема в агентах AI «співробітників».

За словами Арула Нігама, зростаючий скептицизм щодо AI є здоровим, однак заборона потенційно цінного інструменту через страх безпеки була б «ресивним» кроком. «Ми хочемо допомогти людям сформувати цю довіру», — каже він.