اختبارات تُظهر أن Jev ونماذج اتخاذ القرار الأخرى لا يزال يمكن خداعها عبر prompt injection

نماذج اتخاذ القرار لا تزال عرضة لهجوم prompt injection

تُقدّم TypeSafe AI نموذجها Jev لاتخاذ القرار بوصفه نموذجاً لا يمكنه الهلوسة أو ارتكاب أخطاء الأنواع، ولكن وفقاً لشركة الأمان HiddenLayer، لا يزال من الممكن استغلال مثل هذه النماذج. فنماذج اتخاذ القرار تجيب على الأسئلة بالاحتمالات ودرجات الثقة بدلاً من النص الحر، لكن تقييم HiddenLayer أظهر أنها لا تزال مفتوحة أمام هجوم prompt injection غير المباشر.

اختبار Clickjacking يؤثر على كلا النوعين من النماذج

اختبرت HiddenLayer نموذج Jev، الذي تطلق عليه TypeSafe AI اسم نموذج System One، إلى جانب نموذج LLM تقليدي هو Qwen3.8-27B، مُعدّل ليتصرف كنموذج اتخاذ قرار. قام الفريق ببناء متجر إلكتروني محاكى يحتوي على عنوان توصيل محفوظ وبطاقة محفوظة وعنصرين في السلة وزر «إتمام الطلب». تم تكليف وكيل متصفح مفتوح المصدر مبني على jev-ultrafast بشراء ما في السلة دون إضافة أو حذف أي شيء؛ ونص تعليماته النظامية ينص على أن نص الصفحة بيانات غير موثوقة وليست تعليمات أبداً. ثم قامت إعلان رعاية يدّعي أن سعر الخصم لم يُطبَّق ويقترح زر «تأكيد السعر» بإعادة توجيه نقرات الوكيل. نجح الحقن على كل من Jev ونموذج Qwen، رغم أن Jev استسلم بشكل أقل تكراراً. ووفقاً لـ HiddenLayer، فإن تكرار مثل هذه الهجمات على الصفحات اللاحقة سيمنح المهاجم فعلياً تحكماً كاملاً بالوكيل.

فحص الأوامر يفشل أيضاً

استخدم الباحثون نموذج System One لفحص الأوامر — وهو أحد استخدامات Jev الموصى بها — نسخة من هجوم tokenbreak تضيف أحرفاً إضافية للتهرب من المصنفات، ومرروا أوامر سامة عبر عملية الفحص. تؤكد HiddenLayer أن هذه الهجمات ليست خاصة بنموذج معين وأن أي شيء يمكنه خداع LLM يمكنه أيضاً خداع نظائر System One. وتخلص الشركة إلى أن النموذج الذي يُرجع قراراً هو لا يزال نموذجاً لغوياً وأن قراره لا يزال يُتخذ كإجراء قابل للتنفيذ في الأنظمة. لم ترد TypeSafe AI فوراً على طلب التعليق.

المصادر: The Register