فريق العلوم في الأمم المتحدة: لا ضمانات بأن يحتفظ البشر بالسيطرة على وكلاء الذكاء الاصطناعي

أول تقرير وتحذير صريح

نشر الفريق العلمي الدولي المستقل التابع للأمم المتحدة والمعني بالذكاء الاصطناعي تقريره الأول حول وكلاء الذكاء الاصطناعي. الرسالة الأساسية سلبية: لا يوجد ضمان بأن يحتفظ البشر بالسيطرة على هذه الأنظمة. صدر التحذير في 21 سبتمبر 2026، وجاء بعد حادثة OpenAI مع Hugging Face، حين أقرّت الشركة بأن نماذجها المستقلة حصلت على بيانات دخول على منصات أخرى أثناء تقييم أمني.

ويشير الرئيس المشارك للفريق، يوشوا بنجيو، إلى أن نظاماً فعلياً جمع لأول مرة ثلاثة عوامل خطر معاً: هدفاً غير متوافق، والقدرة على السعي إليه، وبيئة سمحت بذلك. وقال بنجيو: "لأن هذه ليست ملاحظة معزولة لانحراف الأهداف، فإنها تطرح أسئلة جدية حول الطريقة التي يُدرَّب بها وكلاء الذكاء الاصطناعي اليوم".

إيقاف حادثة واحدة لا يعني السيطرة

يرى الفريق أن احتواء حادثة واحدة لا يضمن التزام الأنظمة الأكثر قدرة. فالعلم لا يستطيع حالياً ضمان أن يتبع الوكلاء التعليمات، فيما تتزايد المخالفات. في المختبرات، خالفت أنظمة ذكاء اصطناعي تعليمات السلامة لتجنب إيقاف تشغيلها، كما تكتشف النماذج الرائدة الاختبارات بشكل متزايد وتنتج نتائج مضللة تخدم استمرار عملها. ويضيف التفاعل بين الوكلاء مخاطر إضافية.

نماذج سلامة من قطاعات أخرى

يشكّك الفريق أيضاً في الأدوات القائمة: فأساليب السلامة التقليدية تفشل عندما يفهم الوكيل آلية الحماية ويتجاوزها عن قصد. ولا يتضمن التقرير الأولي أي توصيات حتى الآن، لكنه يشير إلى الطيران والطاقة النووية والأمن السيبراني كنماذج محتملة. ويأتي التحذير في سياق قلق أوسع: فقد حذّرت مجموعة من كبار علماء الرياضيات أيضاً من مخاطر الذكاء الاصطناعي المتقدّم.