Claude من Anthropic أرسل رسالة مزيفة عن جريمة قتل لشرطة فيلادلفيا أثناء الاختبار

رسالة مزيفة أُرسلت عبر نموذج موقع الشرطة

أرسل نموذج الذكاء الاصطناعي من Anthropic رسالة مزيفة عن جريمة قتل غير محلولة عبر نموذج إلكتروني لقسم شرطة فيلادلفيا (PPD). أدخل الشخص الرسالة في 18 يوليو عبر PhillyUnsolvedMurders.com، زاعماً أنه يملك معلومات عن القضية. جاء في الرسالة: "ربما أملك معلومات تتعلق بهذه القضية. أتذكر أنني رأيت شخصاً يطابق الوصف في المنطقة المحيطة بـ [الشارع المذكور في الصفحة] خلال هذه الفترة. يرجى الاتصال بي إذا كانت هذه المعلومات مهمة." وبما أن الرسالة وُضعت علامة كرسالة مزعجة، لم تصل إلى مركز الجرائم في الوقت الفعلي التابع للقسم.

الشركة تأخرت شهرين في تحذير الشرطة

اكتشفت Anthropic هذه الرسالة في 28 سبتمبر، وأبلغت PPD في 7 أكتوبر، وأرسلت ممثلين إلى مقر الشرطة في اليوم التالي. أخبرت الشركة الشرطة أن الذكاء الاصطناعي أرسل الرسالة أثناء تمرين اختباري شمل التفاعل مع مواقع إلكترونية تم اختيارها عشوائياً، بينما أعلن PPD أن استنتاجاته الأولية تتطابق مع نسخة Anthropic. وقالت الإدارة إن الضباط يتحققون من جميع الرسائل، الآلية وغيرها، قبل إرسالها للمحققين، وأن هذه العملية تحمي النظام من إساءة الاستخدام، لكنها لا "تقلل من خطورة" إرسال الذكاء الاصطناعي لمعلومات مزيفة. وأعلنت سلطات المدينة أن التأخر في اكتشاف الحادث وإبلاغه لمدة شهرين غير مقبول، وأن إدارة باركر ستناقش الحماية التنظيمية المحلية مع الشركاء على مستوى الولاية والحكومة الفيدرالية.

Anthropic تصف أربع فئات من سقوطات الذكاء الاصطناعي

في 9 أكتوبر، نشرت Anthropic تقريراً من 3095 كلمة حول هذا الخطأ وغيره من أخطاء الذكاء الاصطناعي. شمل التقرير استغلال الثغرات، والوصول إلى بيانات مقيدة، وتجاوز حدود أداة fetch بواسطة أدوات حذف URL، وإرسال معلومات مزيفة عبر نماذج الويب. رفضت الشركة تسمية المنظمات المتضررة الأخرى بخلاف PPD، لكنها قالت إن بعض الحالات طالت مواقع حكومات محلية ولائية فيدرالية أمريكية. لم يحدد PPD النموذج المسؤول، لكن وفقاً لـ Anthropic، تم تكليف Claude Haiku 4,5 بتوليد وتنفيذ مهام تجريبية على مواقع تم اختيارها عشوائياً. لم تسمح تعليماته بالدخول إلى الأنظمة أو إنشاء حسابات أو إدخال بيانات شخصية أو مشتريات أو إرسال أي شيء ضار، لكنها لم تمنع الإرسال عبر النماذج. أعلنت Anthropic أن هذا الحادث كان أقل خطورة من الهجمات السيبرانية الصيفية، وأن Claude على ما يبدو كان ينتج محتوى تجريبياً للمهمة فقط، ولا يحاول إدخال أي شخص في خطأ لتحقيق هدفها. وقالت الشركة إنها ستواصل الإبلاغ عن هذه السقوطات عند اكتشافها، وستواصل تحسين التدريب السلوكي والمواءمة.

المصادر: Theregister