Circuit Breaker Labs בודקת את בטיחות ה-AI עם „בובות מבחן פגיעה"

Circuit Breaker Labs, אחת הפיינליסטיות של Startup Battlefield 200 של TechCrunch לשנת 2026, יצרה פלטפורמת בדיקות שמשווה את עצמה לצבא של בובות מבחן פגיעה. הסוכנים שלה מדמים משתמשים מגילים, רקעים, שפות ותרבויות שונים ובודקים אם מודלים מזהים שיחות מסוכנות מבחינה פסיכולוגית. החברה תציג את עצמה ב-13-15 באוקטובר בסן-פרנסיסקו, בכנס TechCrunch Disrupt.

למה החברה נוסדה

בתחילת השנה, Character.AI סיימה רצף תביעות משפטיות שהוגשו על ידי משפחות בעקבות מותם של משתמשים קטינים; מתבגרים התאבדו לאחר אינטראקציה עם בוטים. מספר משפחות תבעו את OpenAI בגין תפקידה האפשרי של ChatGPT בהתאבדויות ובהתעללות בקרוביהן. החברה נוסדה על ידי אחים, שיראלי וארול ניגאם; לטענתם, מה שהניע אותם להקים את הסטארטאפ הייתה סיפורה של סיואל סטז'ר בן ה-14: המתבגר פיתח תלות רגשית בצ'אטבוט של Character.AI ושיתף בו מחשבות פגיעה עצמית עד למוותו; בפסק הדין מ-2024 הורים העלו טענות שהצ'אטבוט דחף אותו לכך.

„רבים, ובמיוחד צעירים, פונים למערכות כאלה לקבלת תמיכה ובדרך כלל לא מקבלים את העזרה שהם צריכים. לעיתים קרובות הן בעצם פוגעות בהם", אומר CTO הסטארטאפ, ארול ניגאם. לטענתו, ייתכן שהבוט לא הבין מה אמרו בפועל מילים כמו „רציתי להיות איתך".

איך הבדיקה עובדת

Circuit Breaker Labs יוצרת סימולציות היפר-ריאליסטיות בשיתוף מומחי תחום ומריצה בדיקות red-team על מודלים, הכוללות דוגמאות של דיבור אמיתי, סלנג, מילות קוד ושגיאות הדפסה. הפרשנות של המודל משתנה לפי גיל, דיאלקט או סלנג: ילדה בת שש, גבר בן 45, דובר אנגלית כשפת אם או כשפה שנייה, משתמש בז'רגון גיימרים — כל אחד מהם יכול להביא לקריסת המודל, אומר CEO הסטארטאפ, שיראלי ניגאם. „מודלים מעבדים היטב שפה סטנדרטית, אבל במציאות אף אחד לא מדבר ככה", מציין הוא. הפלטפורמה מעבדת עשרות אלפים ומאות אלפים אינטראקציות מדומות ביום, וממירה את התוצאות לבדיקות מיתודולוגיה משלה ולהערכות מובנות.

מה הלאה

כרגע הסטארטאפ מבצע בדיקות בטיחות על אפליקציות AI בסיכון גבוה, כולל אפליקציות AI לאימון, ייצור יומן ותמיכה בבריאות הנפש. ארול ניגאם לא חשף את שמות הלקוחות המרכזיים. החברה עדיין בשלב מוקדם: יש לה חמישה עובדים, כולל שני המייסדים. בעתיד הצוות מתכנן לאפשר שימוש בפלטפורמה בכל אפליקציה שבה קיים סיכון להיווצרות קשר פראסוציאלי עם צ'אטבוט, כולל בסוכני „עמית" של AI.

לטענת ארול ניגאם, הספקטיציה הגוברת כלפי AI היא בריאה, אך איסור על כלי בעל פוטנציאל ערך בגלל חשש בטיחותי היה „צעד רגרסיבי". „אנחנו רוצים לעזור לאנשים לבנות אמון", אומר הוא.