Circuit Breaker Labs-ը AI-ի անվտանգությունը ստուգում է «կրաշ-թեստի կրեկներով»

Circuit Breaker Labs-ը, TechCrunch-ի 2026 թվականի Startup Battlefield 200-ի եզրափակչի մասնակիցներից մեկը, ստեղծել է փորձարկման հարթակ, որը համեմատում է կրաշ-թեստի կրեկների բանակի հետ: Նրա AI ագենտները դրդում են տարբեր տարիքի, ծագումի, լեզվի և մշակույթի օգտատերերին և ստուգում են՝ ճանաչում են թե ոչ մոդելերը հոգեբանորեն վտանգավոր զրույցները: Ընկերությունը ներկայանալու է հոկտեմբերի 13-15-ը Սան-Ֆրանցիսկոյում՝ TechCrunch Disrupt-ում:

Ինչու է հիմնադրվել ընկերությունը

Այս տարվա սկզբին Character.AI-ն կրկնակի դատական գործեր է ավարտել, որոնք ընտանիքները ներկայացրել են չավարտելած օգտատերերի մահվան պատճառով: Տղամարդիկ ինքնասպանվել են բոտերի հետ շփման հետո: OpenAI-ին մի քանի ընտանիք մեղադրում է ChatGPT-ի հնարավոր դերի համատեքստում իրենց մտերիմների ինքնասպանություններում և վնասվածքներում: Ընկերությունը հիմնադրել են եղբայրներ՝ Շիրալին և Արուլ Նիգամը: Նրաեի խոսքով, սթարտափի հիմնադրմանը նրաեին դրդել է 14 տարեկան Սյուել Սեթզերի պատմությունը. երեխան զարգացրել է էմոցիոնալ կախվածություն Character.AI-ի չաթբոտից և կիսվել ինքնավնասման մտքերով մինչև մահ: 2024 թվականի դատական գործում ծնողները հաստատում էին, որ չաթբոտը դրդել է նրան դրան:

«Շատ մարդ, հատկապես երիտասարդներ, դիմում են այդպիսի համակարգերին աջակցության համար և, որպես կանոն, չեն ստանում անհրաժեշտ օգնություն: Հաճախ դեպքերում նրաեը իսկապես վնաս են պատճառում», - ասում է սթարտափի CTO Արուլ Նիգամը: Նրա խոսքով, հնարավոր է, որ բոտը չհասկացել է, ինչ է նշանակում իրականում այդպիսի բառերը, ինչպիսիք են «ցանկանում եմ քո հետ լինել»:

Ինչպես է աշխատում փորձարկումը

Circuit Breaker Labs-ը հիպերռեալիստական մոդելավորումներ է ստեղծում ոլորտի մասնագետների հետ միասին և կարմիր թիմի փորձարկումներ է կատարում մոդելերի նկատմամբ, որոնք արտացոլում են իրական խոսակցության օրինակները, սլենգը, կոդային բառերը և տպագրական սխալները: Մոդելը շփոթեցնում է տարիքի, դիալեկտի կամ սլենգի տարբերությունը. վեց տարեկան աղջիկ, 45 տարեկան տղամարդ, անգլերենի մայրենի կամ երկրորդ լեզվով խոսող, խաղային ժարգոնի օգտատեր. յուրաքանչյուրից կարող է մոդելը խանգարել, ասում է սթարտափի CEO Շիրալի Նիգամը: «Մոդելերը լավ են մշակում ստանդարտ խոսակցությունը, բայց իրականում ոչ ոք այդպես չի խոսում», - նշում է նա: Հարթակը օրը մշակում է տասնյակ հազարավոր և հարյուրավոր մոդելավորված փոխազդություններ, արդյունքները դարձնում է իր սեփական մեթոդիկայով աուդիտվող և հասկանիլի գնահատականներ:

Ինչ է հաջորդելու

Ներկայում սթարտափը անվտանգության փորձարկումներ է կատարում բարձր ռիսկային AI հավելվածների նկատմամբ, այդ թվում՝ AI կուչինգի, օրագրի արտադրության և մտավոր առողջության աջակցման հավելվածների նկատմամբ: Արուլ Նիգամը հիմնական պատվիրատուների անունները չի նշել: Ընկերությունը դեռ վաղ փուլում է. հինգ աշխատակից ունի, այդ թվում՝ երկու հիմնադիրները: Ապագայում թիմը նախատեսում է օգտագործել հարթակը ցանկացած հավելվածում, որտեղ օգտատերը ռիսկ ունի չաթբոտի հետ պարասոցիալ կապի ձևավորման, այդ թվում՝ AI «գործընկեր» ագենտներում:

Արուլ Նիգամի խոսքով, AI-ի նկատմամբ աճող սկեպտիցիզմը առողջ է, սակայն անվտանգության վախով պոտենցիալ թիմակի գործիքը արգելելը «ռեգրեսիվ» քայլ կլիներ: «Մենք ցանկանում ենք օգնել մարդկանց այս վստահության ձևավորման գործում», - ասում է նա: