دراسة من Lasso Security: العلامات المائية في نصوص LLM تغيّر سلوك وكلاء AI

يرى تحليل من Lasso Security أن العلامات المائية التي تُضاف لإثبات أن المحتوى أنتجه نموذج ذكاء اصطناعي تغيّر أيضاً سلوك النموذج نفسه. ويتناول التحليل خطة Anthropic لإدماج علامة مائية غير مرئية في نماذج Claude المقبلة، بناءً على تقنية SynthID-Text من Google DeepMind.

كيف تغيّر العلامة اختيار الرموز

الآلية نفسها هي التي تُنشئ الأثر الجانبي: لا يضيف SynthID-Text بيانات وصفية، بل تغيّر «المعاينة بالدوريات» الطريقة التي يُختار بها كل رمز تالٍ. تبقى الأوزان والتعليمات كما هي، أما اختيار الرموز فلا. في المخرجات المهيكلة مثل JSON تكون الأقواس وأسماء الدوال قابلة للتوقع، بينما القيم كالاستعلامات والأرقام والمسارات ليست كذلك، لذا قد يتحول اختلاف يبدو غير مؤذٍ في النص العادي إلى وسيط ينفذه الوكيل. تسمي Lasso ذلك sampling drift.

الطريقة لا تشوّه التوزيع، لكن مفتاحاً ثابتاً واحداً يغيّر مع ذلك مخرجات فردية، ويعتمد الأثر على المفتاح. ولأن Anthropic تطبّق العلامة على مستوى النموذج، بما يشمل النماذج المتاحة عبر Claude Platform API ومزودي السحابة، فإن الوكلاء المبنيين على تلك النماذج يرثون هذا السلوك.

استدعاءات الأدوات تتغيّر أكثر مما توحي الدقة

أجرت الشركة تجارب مقترنة: كل عنصر وُلّد مع SynthID وبدونه من البذرة نفسها. في اختبار BFCL v4 انخفضت دقة استدعاء الأدوات في ستة من سبعة نماذج. أما نسبة الاختلاف المقترنة، التي تسميها Lasso churn، فتفوق التغيّر الصافي بكثير: عند درجة حرارة 1.0 تغيّر 16.8% من قرارات الاستدعاء لدى phi-4 مقابل انخفاض في الدقة قدره 2.87 نقطة، وسجّل Llama-3.1-8B نسبة 9.9% مع خسارة 0.87 نقطة. وفي 21 توليفة بلغ متوسط churn نحو 6.5%.

الرفض يضعف تحت حقن الأوامر

غطّت التجربة الثانية 200 سلوك ضار من HarmBench و100 حالة ضابطة حميدة من JailbreakBench، بصورتها المجردة ومع تقنية حقن أوامر ثابتة. تحت الحقن قفز churn لدى gemma-3-27b من 6.0% إلى 23.5% وانتقل التغيّر الصافي في الاستجابة من انخفاض 1.0 نقطة إلى زيادة 12.5 نقطة. وتجاوز أثر العلامة أثر تغيير درجة الحرارة في أربعة من ستة نماذج: عند T=0.7 سجّل gemma-3-27b نسبة 26.0% مقابل 13.5%.

التنظيم والتوصية

تفرض المادة 50(2) من قانون EU AI Act على مزوّدي الأنظمة المولّدة للنصوص الاصطناعية وسم المخرجات بصيغة قابلة للقراءة آلياً وجعلها قابلة للكشف كمنتجة بالذكاء الاصطناعي. لا تعارض Lasso العلامات المائية، بل تقول إن إثبات المصدر والاستقرار السلوكي خاصيتان منفصلتان، وتوصي بإعادة تقييم الوكلاء واختبارات red-teaming بالإعداد المخصص للإنتاج، مع مقارنات مقترنة واختبارات حقن الأوامر، لأن المفتاح قد يبقى بيد مزوّد النموذج.