دراسة جديدة: تمييز محتوى الذكاء الاصطناعي في الويب من البنية لا من الكلمات

ورقة جديدة على arXiv تبحث ما إذا كان يمكن التعرّف على المحتوى التجاري المكتوب بالذكاء الاصطناعي من بنيته لا من كلماته. وتقول ورقة «SlopShape» للباحث يوخن مادلر من Sitefire إن أداة من 214 سمة، 187 منها بنيوية، تميّز تدوينات مدونات الشركات المولّدة بالذكاء الاصطناعي عن الكتابة البشرية بدقة macro-F1 تبلغ 98.0.

ما الذي قِيس

ينقل البحث إلى المحتوى التجاري منهج StoryScope، العمل السابق الذي وجد بصمات بنيوية في الأدب القصصي المولّد بالذكاء الاصطناعي. تقابل المدوّنة 2250 تدوينة بشرية من 268 نطاق شركة (نسخ Wayback السابقة لـ ChatGPT، 2008–2022) مع 11250 „مرآة“ مولّدة: الموجزات نفسها أُعطيت لخمسة نماذج متقدمة هي GPT-5.4 وClaude Sonnet 4.6 وGemini 3 Flash وDeepSeek V3.2 وKimi K2.5.

قُيّمت كل تدوينة وفق مخطط من 11 بُعداً يشمل الغرض والبنية والأدلة والصوت وتنسيق الصفحة. طبّق الأداة نموذج لغوي كبير، وبلغت جلسة الوسم البشرية اتفاقاً قدره 0.928 بين الوسّامين و0.946 بين البشر والنموذج.

البنية تتغلّب على الأسلوب وتصمد أمام إعادة الصياغة

بلغت السمات البنيوية وحدها 98.0 macro-F1 على شركات لم تُرَ في التدريب، في حين لم تتجاوز سمات الأسلوب 88.1. وكانت كواشف مستوى الكلمة مثالية على النص غير المحرّر، لكن هذه الميزة لا تصمد أمام إعادة الكتابة: عندما أعاد كل نموذج صياغة تدويناته في مجموعة الاختبار، سجّل النموذج البنيوي 98.1 ونسب 79.3 في المئة من التدوينات إلى المصدر الصحيح من بين ستة — مقابل 16.7 في المئة عشوائياً.

التدوينة المرتّبة التي تُعلن عن نفسها

عشر سمات تحمل معظم الإشارة: الوعد يُقدَّم في العنوان، وتُعلن الأطروحة والبنية قبل القسم الأول، والصوت صوت شارح تحريري، والخاتمة تعيد الأطروحة. أما التدوينات البشرية فتتجه إلى العكس — بلا تسلسل معلن، وبلا تصعيد للمخاطر، وبلا خاتمة تعيد الأطروحة؛ ومع ذلك يبلغ مصنّف يقتصر على هذه السمات العشر 93.5 macro-F1.

وتحتل التدوينات البشرية أيضاً مناطق أكثر ندرة في الفضاء البنيوي: متوسط مئين الندرة لديها 0.838 مقابل 0.435 للمولّدة، ومن بين أندر واحد في المئة، 149 تدوينة بشرية و4 فقط مولّدة.

إتاحة مفتوحة وحدود

نُشرت خطوط المعالجة والأداة والموجّهات والشيفرة والملفات المجمّعة على GitHub. وتذكر الورقة حدودها: المدوّنة تميل إلى شركات البرمجيات والولايات المتحدة، والمرايا كُتبت من موجزات تحمل سياقاً أقل، واختبار إعادة الصياغة يغطي إعادة الكتابة الذاتية لا أدوات „التحويل البشري“ التجارية. كما يعلن المؤلف أنه يدير Sitefire، وهو منتج GEO تجاري.