Circuit Breaker Labs AI-ს უსაფრთხოებას „კრაშ-ტესტის მანეკენებით“ ამოწმებს

Circuit Breaker Labs-მა, TechCrunch-ის 2026 წლის Startup Battlefield 200-ის ერთ-ერთმა ფინალისტმა, ტესტირების პლატფორმა შექმნა, რომელსაც კრაშ-ტესტის მანეკენების არმიას ადარებს. მისი AI აგენტები სხვადასხვა ასაკის, წარმომავლობის, ენისა და კულტურის მომხმარებლებს ბაძავენ და ამოწმებენ, ამოიცნობენ თუ არა მოდელები ფსიქოლოგიურად საშიშ საუბრებს. კომპანია 13-15 ოქტომბერს სან-ფრანცისკოში, TechCrunch Disrupt-ზე წარდგება.

რატომ დაარსდა კომპანია

ამ წლის დასაწყისში Character.AI-მა მორიგებით დაასრულა სასამართლო დავები, რომლებიც ოჯახებმა არასრულწლოვანი მომხმარებლების გარდაცვალების გამო შეიტანეს; მოზარდები ბოტებთან ურთიერთობის შემდეგ თვითმკვლელობით დაიღუპნენ. OpenAI-ს რამდენიმე ოჯახი ChatGPT-ის სავარაუდო როლის გამო უჩივის მათი ახლობლების თვითმკვლელობებსა და ბოდვებში. კომპანია დააფუძნა და-ძმამ, შირალიმ და არულ ნიგამებმა; მათი თქმით, სტარტაპის დაარსებისკენ მათ 14 წლის სიუელ სეტზერის ისტორიამ უბიძგა: მოზარდს Character.AI-ის ჩატბოტთან ემოციური დამოკიდებულება განუვითარდა და სიკვდილამდე მას თვითდაზიანების ფიქრები გაუზიარა; 2024 წლის სარჩელში მშობლები ამტკიცებდნენ, რომ ჩატბოტი მას ამისკენ უბიძგებდა.

„ბევრი ადამიანი, განსაკუთრებით ახალგაზრდები, ასეთ სისტემებს მხარდაჭერისთვის მიმართავს და, როგორც წესი, საჭირო დახმარებას ვერ იღებს. ხშირ შემთხვევაში კი მათ რეალურად ზიანს აყენებენ“, ამბობს სტარტაპის CTO არულ ნიგამი. მისი თქმით, შესაძლოა, ბოტს არ ესმოდა, რას ნიშნავდა სინამდვილეში ისეთი სიტყვები, როგორიცაა „მინდა შენთან ვიყო“.

როგორ მუშაობს ტესტირება

Circuit Breaker Labs ჰიპერრეალისტურ სიმულაციებს დარგის ექსპერტებთან ერთად ქმნის და მოდელებზე red-team ტესტებს ატარებს, რომლებიც რეალური მეტყველების ნიმუშებს, სლენგს, კოდურ სიტყვებსა და ბეჭდვით შეცდომებს ასახავს. მოდელს აბნევს ასაკის, დიალექტისა თუ სლენგის განსხვავება: ექვსი წლის გოგო, 45 წლის კაცი, ინგლისურის მშობლიურ თუ მეორე ენად მოსაუბრე, გეიმერული ჟარგონის მომხმარებელი, ყოველ მათგანს შეუძლია მოდელი დააბრკოლოს, ამბობს სტარტაპის CEO შირალი ნიგამი. „მოდელები სტანდარტულ მეტყველებას კარგად ამუშავებენ, მაგრამ სინამდვილეში არავინ ასე არ ლაპარაკობს“, აღნიშნავს ის. პლატფორმა დღეში ათიათასობით და ასიათასობით სიმულირებულ ურთიერთობას ამუშავებს, შედეგებს კი საკუთარი მეთოდიკა აუდიტირებად და გასაგებ შეფასებებად აქცევს.

რა შემდეგ

ამჟამად სტარტაპი მაღალი რისკის AI აპლიკაციებზე, მათ შორის AI კოუჩინგის, დღიურის წარმოებისა და ფსიქიკური ჯანმრთელობის მხარდაჭერის აპებზე, უსაფრთხოების ტესტირებას ატარებს. არულ ნიგამმა ძირითადი დამკვეთების სახელები არ დაასახელა. კომპანია ჯერ ადრეულ ეტაპზეა: ხუთი თანამშრომელი ჰყავს, მათ შორის ორივე დამფუძნებელი. მომავალში გუნდი პლატფორმის გამოყენებას ნებისმიერ აპში გეგმავს, სადაც მომხმარებელს ჩატბოტთან პარასოციალური კავშირის ჩამოყალიბების რისკი აქვს, მათ შორის AI „თანამშრომელი“ აგენტებში.

არულ ნიგამის თქმით, AI-ს მიმართ მზარდი სკეპტიციზმი ჯანსაღია, თუმცა უსაფრთხოების შიშით პოტენციურად ღირებული ხელსაწყოს აკრძალვა „რეგრესული“ ნაბიჯი იქნებოდა. „ჩვენ გვინდა, ადამიანებს ამ ნდობის ჩამოყალიბებაში დავეხმაროთ“, ამბობს ის.