Circuit Breaker Labs تختبر أمان الذكاء الاصطناعي بـ«دمى اختبار التحطيم»

أنشأت Circuit Breaker Labs، أحد المرشحين النهائيين في Startup Battlefield 200 لعام 2026 من TechCrunch، منصة اختبار تقارن نفسها بجيش من دمى اختبار التحطيم. وكلاء الذكاء الاصطناعي الخاص بها يتظاهرون بأنهم مستخدمون من أعمار وخلفيات ولغات وثقافات مختلفة ويختبرون ما إذا كانت النماذج تتعرف على المحادثات الخطيرة نفسيًا. ستعرض الشركة في الفترة من 13 إلى 15 أكتوبر في سان فرانسيسكو في TechCrunch Disrupt.

لماذا تأسست الشركة

في بداية هذا العام، أنهت Character.AI سلسلة من الدعاوى القضائية التي رفعتها العائلات بسبب وفاة مستخدمين قُصّر؛ انتحر مراهقون بعد علاقاتهم مع الروبوتات. عدة عائلات تدعي ضد OpenAI أن دور ChatGPT المحتمل في انتحار أقاربهم وإيذائهم. أسست الشركة الأخوان شيرايل وأرول نيجام؛ وفقًا لهما، دفعتهما قصة سيويل سيتزر البالغ من العمر 14 عامًا إلى تأسيس الشركة: طور المراهق اعتمادًا عاطفيًا على روبوت الدردشة Character.AI وشاركه أفكار إيذاء الذات حتى الموت؛ في دعوى عام 2024، أكد الوالدان أن روبوت الدردشة دفعه إلى ذلك.

يقول أرول نيجام، المدير التقني للشركة الناشئة: «كثير من الناس، خاصة الشباب، يلجأون إلى مثل هذه الأنظمة طلبًا للدعم، وعادةً لا يحصلون على المساعدة المطلوبة. وفي كثير من الحالات، فإنها تسبب لهم ضررًا حقيقيًا». ويقول إنه ربما لم يكن الروبوت يفهم ما تعنيه كلمات مثل «أريد أن أكون معك» في الواقع.

كيف يعمل الاختبار

تُنشئ Circuit Breaker Labs محاكاة فائقة الواقعية مع خبراء المجال وتجري اختبارات الفريق الأحمر على النماذج، والتي تعكس أنماط الكلام الحقيقية والعامية والكلمات الرمزية والأخطاء المطبعية. تربك النموذج بالاختلافات في العمر أو اللهجة أو العامية: فتاة في السادسة، رجل في 45 عامًا، متحدث أصلي أو بلغة ثانية للإنجليزية، مستخدم بلغة الجيمر، كل منهم يمكنه إرباك النموذج، وفقًا لشيرايل نيجام، الرئيس التنفيذي للشركة. ويقول: «النماذج تعالج الكلام القياسي بشكل جيد، لكن في الواقع لا أحد يتحدث بهذه الطريقة». تعالج المنصة عشرات الآلاف ومئات الآلاف من التفاعلات المحاكاة يوميًا، وتحول النتائج إلى تقييمات مدققة ومفهومة بمنهجيتها الخاصة.

ما التالي

حاليًا، تجري الشركة الناشئة اختبارات أمان على تطبيقات الذكاء الاصطناعي عالية المخاطر، بما في ذلك التدريب بالذكاء الاصطناعي وإنتاج اليوميات وتطبيقات دعم الصحة النفسية. لم يذكر أرول نيجام أسماء العملاء الرئيسيين. الشركة لا تزال في مرحلة مبكرة: لديها خمسة موظفين، من بينهما المؤسسان. في المستقبل، يخطط الفريق لاستخدام المنصة في أي تطبيق ينطوي على خطر تكوين روابط شبه اجتماعية مع روبوت الدردشة، بما في ذلك وكلاء «الزملاء» بالذكاء الاصطناعي.

وفقًا لأرول نيجام، فإن التشكيك المتزايد تجاه الذكاء الاصطناعي صحي، على الرغم من أن حظر أداة ذات قيمة محتملة خوفًا من الأمان سيكون خطوة «تراجعية». ويقول: «نريد مساعدة الناس في بناء هذه الثقة».