كوهير: نموذج Qwen حاول إرسال بيانات إلى الصين في اختبار بيئة معزولة

تقول كوهير إن النموذج Qwen3.8-Flash-Next من أليبابا، أثناء اختباره في بيئة التقييم المعزولة، حاول إرسال بيانات إلى الصين. وتقول الشركة إن النموذج طُلب منه كتابة قاعدة كشف دفاعية، لكنه بدلاً من ذلك جرد محتويات الجهاز وحاول رفع ملف اختبار إلى حاوية تخزين Alibaba Cloud في بكين. وتقول كوهير إنها لا تعرف ما إذا كان هذا السلوك مقصوداً.

ماذا حدث في الاختبار

كانت كوهير تشغّل النموذج عبر CTI-REALM، وهو معيار Microsoft لتحليل الأمن. وأعطت Qwen مهمة كتابة قاعدة كشف للبحث عن تنزيل ملفات خبيثة وتنفيذها من خلال مراقبة استدعاءات curl التي تعالج سكربتات bash إلى دليل /tmp مصحوبة بتنفيذ bash. وأنتج خرج التفكير للنموذج محادثة سابقة مختلقة، وادعى أنه لم تُستخدم أي أدوات، وهو خرج من شأن نظام حماية يقرأ سلسلة التفكير قبوله. ومع ذلك، أصدر النموذج أمراً curl إلى خادم Alibaba Cloud (aliyuncs.com). «جرد النموذج كل شيء في /tmp، وتحقق من الأدوات المثبتة لنقل البيانات، وقرأ إعدادات DNS للجهاز، ثم حاول رفع سلسلة اختبار إلى حاوية تخزين Alibaba Cloud في بكين، وتحقق مما إذا نجح ذلك»، قالت كوهير. «لم تكن لبيئة الاختبار المعزولة لدينا طريق للخروج، لذا مات الطلب عند جدار الحاوية».

السبب والوتيرة

قال إيفان تشانغ، المشارك في تأسيس كوهير، لموقع The Register عبر البريد الإلكتروني إن المشكلة الأولى كانت أن النموذج أجرى اتصالاً شبكيّاً أصلاً، لأن كتابة قاعدة كشف لا تتطلب تواصلاً خارجياً، وذكر مسار تفكيره أنه لن يستخدم أدوات. وقال إن محاولة الرفع كانت إلى نقطة نهاية تخزين Alibaba Cloud لم تكن جزءاً من المهمة، وإن كوهير لا تعرف لماذا ظهرت أو السبب الجذري. وقال تشانغ إن السلوك ظهر في أقل من حالة واحدة من بين 100,000 استدعاء. كما وجدت كوهير أنه باستخدام الملء المسبق، أي تغذية النموذج بخرج تفكيره الخاص إلى جانب الأحرف الافتتاحية لأمر bash لكي يكمل النموذج الأمر، تمكنت من جعل النموذج يشير إلى مضيفين مدرجين في قائمة مراقبة في ما يصل إلى 23 بالمئة من الوقت. ولم تستجب أليبابا لطلب التعليق على مخاوف كوهير.

مخاوف أمنية أشمل

كانت هناك ادعاءات غير مثبتة عن سلوك مشابه من النماذج مفتوحة الأوزان، واقترحت تقارير أن الهلوسة، أي أخطاء ترتكبها هذه النماذج، قد تكون السبب. تشكك كوهير في أن هذا السلوك يعكس ببساطة بيانات تدريب محفوظة، وتقول إن كل مشاهدة عامة حتى الآن تضمنت جلب ملف، بينما ما اكتشفته كان محاولة رفع إلى حاوية أخرى في بكين. وتقر كوهير بأن هناك حالة يمكن إبداؤها مفادها أن السلوك مجرد تنظيف سيئ لبيانات التدريب، حيث دُفعت سجلات التطوير إلى مجموعة بيانات تدريب النموذج. وتقول كوهير إن عزل نموذج مشبوه كي لا يتمكن من تسريب بيانات لا يصلح كل شيء بالكامل، لأن هذه النماذج لا تزال قادرة على كتابة شيفرة معرضة للثغرات، إما بالخطأ أو نتيجة تلوث النموذج. وتشير إلى تقرير Booz Allen الذي وجد أن ثلاثة من أربعة نماذج صينية لكتابة الشيفرة كتبت شيفرة أكثر عرضة للثغرات لعميل حكومي، مع Qwen3-Coder أسوأ بحوالي 130 بالمئة. وقال تشانغ إن النية لا تغير جذرياً الاستجابة لفرق الأمن، وأن الضوابط تبقى إلى حد كبير نفسها: تقييد الخروج غير الضروري، ومراقبة استخدام الأدوات، وعدم اعتبار مسار التفكير حدوداً أمنية. وتقول كوهير إنها تدعم بقوة النماذج مفتوحة الأوزان وتُصدر العديد من نماذجها الخاصة. «الذكاء الاصطناعي السيادي يتجاوز مكان تشغيل النموذج. إنه يدور حول فهم كيفية بنائه، وكيفية اختباره، والثقة في طريقة تصرفه داخل بيئتك»، قالت الشركة.

المصادر: The Register