أجهزة كشف النصوص بالذكاء الاصطناعي تعجز عندما تحاكي النماذج اللغوية أسلوب كاتب — دراسة

دراسة Epoch AI الرائدة: كيف تم اختبار الكاشفات

قام فريق بحثي في Epoch Ai بإجراء تقييم واسع النطاق لثلاثة كاشفات نصوص ذكاء اصطناعي شائعة: Pangram (الإصدار 3.3.2) وGPTZero (نموذج 2026-05-11-base) وOriginality.ai (Turbo 3.0.2). كان الهدف هو تحديد مدى فعالية هذه الأدوات عندما تحاكي نماذج الذكاء الاصطناعي عمداً أسلوب كتابة مؤلف معين — وهو سيناريو أقرب بكثير للاستخدام الواقعي من مهام التوليد البسيطة.

بنى الباحثون مجموعة من 495 نصاً مكتوباً بشرياً من 99 مؤلفاً، موزعة بالتساوي على ثلاث فئات: التدوين، والكتابة الأدبية، والكتابة العلمية. والأهم من ذلك، أن جميع النصوص كتبت قبل إطلاق ChatGPT في نوفمبر 2022، مما يستبعد فعلياً خطر التلوث بنماذج اللغة. هذه قوة منهجية رئيسية — فالعديد من الدراسات السابقة فشلت في التحكم بهذا العامل.

كان هيكل الاختبار على مرحلتين. أولاً، تم تقييم الكاشفات على نصوص AI عادية — مخرجات تم إنشاؤها من أوامر بسيطة دون أي محاكاة للأسلوب. ثانياً، تلقت ثلاثة نماذج AI رائدة — Claude Opus 4.8 وGPT-5.5 وGemini 3.1 Pro — خمسة نصوص حقيقية من مؤلف بشري وطُلب منها إنتاج محتوى جديد بنفس الأسلوب.

📖 المصدر

نتائج شبه مثالية على نصوص AI البسيطة — ولكن تحذير حاسم

عندما تم تغذية الكاشفات بنصوص AI عادية (بدون محاكاة الأسلوب)، أدت الثلاثة أداءً شبه خالٍ من العيوب. بلغ معدل النتائج السلبية الكاذبة — النسبة المئوية لنصوص AI التي تمر دون اكتشاف — 0.7% كحد أقصى. وهذا يعني أن الأدوات حددت بشكل صحيح أكثر من 99% من مخرجات AI المباشرة.

كما تم تصنيف النصوص البشرية بشكل صحيح في الغالب. لم يصدر عن Pangram وGPTZero أي إنذار كاذب — فقد حددا بشكل صحيح كل نص بشري على أنه مكتوب بإنسان. هذا يشير إلى أنه إذا استخدم مدرس أو ناشر هذه الأدوات، فسوف نادراً ما يتهمون مؤلفاً بريئاً زوراً باستخدام AI.

مع ذلك، أظهر Originality.ai نتيجة مقلقة: فقد وضع علامة على 19 من أصل 495 نصاً بشرياً على أنها مولدة بالذكاء الاصطناعي، وهو معدل إيجابية كاذبة بنسبة 3.8%. هذا يعني أن نصاً واحداً تقريباً من كل 26 نصاً مكتوباً بشرياً يمكن أن يُصنف خطأً على أنه مولّد بالذكاء الاصطناعي — وهو معدل مرتفع بشكل غير مقبول في المواقف التي يكون فيها مثل هذا الاتهام عواقب وخيمة.

📖 المصدر

محاكاة الأسلوب تقلل بشكل كبير من دقة الكشف

تتغير الصورة بشكل كبير عندما تتلقى نماذج AI نصوصاً نموذجية من مؤلف ويُطلب منها تقليد أسلوبهم. وفقاً لبيانات Epoch AI، من بين 297 نصاً مقلد الأسلوب الذي تم إنشاؤه للاختبار، مر ما متوسطه 38 نصاً دون اكتشاف — وهو معدل سلبي كاذب يبلغ حوالي 13%.

تباين الأداء بشكل ملحوظ بين الكاشفات. فشل Pangram في اكتشاف 10% من النصوص المقلدة الأسلوب، وGPTZero 11%، وOriginality.ai 18% — مما يعني أن الأخير فشل في اكتشاف ما يقرب من واحد من كل خمسة نصوص AI عند استخدام محاكاة الأسلوب.

ومن المثير للاهتمام أن فئة الأدب أثبتت مقاومة نسبية للخداع، حيث بلغت معدلات النتائج السلبية الكاذبة عبر جميع الكاشفات 1-5% فقط. هذا منطقي من الناحية البديهية: فكتّاب الأدب يميلون إلى أن تكون لهم أصوات أكثر تميزاً وفردية يصعب على AI تقليدها بشكل مقنع.

📖 المصدر

الكتابة العلمية: نقطة ضعف اكتشاف الذكاء الاصطناعي

إذا كانت الكتابة الأدبية قصة نجاح نسبي للكاشفات، فإن الكتابة العلمية كانت سقوطهم. هذه هي الفئة التي عملت فيها جميع الأدوات الثلاثة بشكل أسوأ — ومن الصدف أن يكون هذا هو النوع الذي يشهد على الأرجح أكبر استخدام واقعي لكشف نصوص AI، خاصة في الجامعات والنشر الأكاديمي.

فشل Pangram في اكتشاف 25% من النصوص الأكاديمية AI المقلدة الأسلوب، وأخطأ GPTZero في 24%، وOriginality.ai في 29%. هذه ليست اختلافات هامشية — فقرابة واحد من كل أربعة نصوص علمية AI مر دون اكتشاف.

ظهرت أسوأ النتائج الفردية من مجموعات نموذج-نوع محددة داخل الكتابة العلمية. فشل Pangram في اكتشاف 48% من النصوص الأكاديمية المولدة بواسطة Gemini — مما يفشل أساساً في اكتشاف كل نص ثانٍ. في Originality.ai، لم يتم اكتشاف 39% من النصوص الأكاديمية لـ GPT-5.5. هذه الأرقام مثيرة للقلق بشكل خاص نظراً لأن الطلاب والباحثين يلجأون بشكل متزايد إلى AI للمساعدة في الكتابة الأكاديمية.

يكمن السبب على الأرجح في طبيعة الكتابة العلمية نفسها. النثر الأكاديمي أكثر تجانساً من الناحية الأسلوبية — فهو يستخدم لغة رسمية وهياكل موحدة ومصطلحات خاصة بالتخصص. هذا التجانس يسهل على AI التقليد بشكل مقنع.

📖 المصدر

طرق مختلفة، نفس النقاط العمياء

يستخدم كل من الكاشفات الثلاثة التي تم اختبارها منهجية مختلفة جوهرياً، ومع ذلك تظهر جميعها نفس نمط الضعف تجاه محاكاة الأسلوب. يعتمد Pangram على شبكة عصبية مدربة على نصوص بشرية ونصوص مولدة آلياً — على الرغم من أن مؤسسه وصف النظام بصراحة بأنه "صندوق أسود" حيث لا يمكن تتبع قراراته أو شرحها.

يقيس GPTZero مدى قابلية التنبؤ باختيارات الكلمات داخل النص ومدى تغير هذه القدرة على التنبؤ، انطلاقاً من فرضية أن نماذج اللغة تكتب بشكل أكثر انتظاماً من البشر. يبحث Originality.ai عن أنماط إحصائية تعلمها من بيانات تدريبية للنصوص البشرية ونصوص AI.

على الرغم من مناهجها المختلفة، تظهر الكاشفات الثلاثة نفس الضعف. إنها تكتشف النص الناتج عن الأوامر البسيطة في كل مرة تقريباً ولكنها تفشل في اكتشاف النصوص المقلدة في كثير من الأحيان. تظل الكتابة العلمية — النوع الذي يشهد على الأرجح أكبر استخدام واقعي لكشف AI — الأصعب في التصنيف بشكل صحيح بغض النظر عن الكاشف المستخدم.

📖 المصدر

لماذا هذه الدراسة مهمة: إكمال الصورة

وجد اختبار سابق أجرته نقابة المؤلفين (Authors Guild) أن Pangram وOriginality.ai يصنفان النصوص البشرية بشكل موثوق على أنها بشرية. دراسة Epoch AI تملأ النصف الآخر من الصورة: معدل الإنذارات الكاذبة المنخفض على الكتابة البشرية لا يقول الكثير عن عدد النصوص المولدة بالذكاء الاصطناعي التي تمر فعلياً دون اكتشاف.

هذا مهم بشكل خاص للمجالات التي تشهد أثقل استخدام لكاشفات AI: الجامعات التي تفحص مقالات الطلاب، ودور النشر التي تفحص المخطوطات، ومؤسسات الصحافة التي تتحقق من المصادر. عندما يبلغ كاشف أن نصاً ما "من المحتمل أن يكون مكتوباً بشرياً"، فهذا لا يعني أن النص كتبه إنسان بالفعل — بل قد يعني ببساطة أن AI قام بعمل جيد في تقليد الأسلوب المتوقع.

تثير الدراسة أسئلة أخلاقية وعملية عميقة حول كيفية تنظيم استخدام AI في الكتابة الأكاديمية والمهنية. معدل الخطأ المتوسط البالغ 13% يعني أن واحداً تقريباً من كل سبعة أو ثمانية نصوص AI يفلت من الكشف تماماً. في الكتابة العلمية، يرتفع الرقم إلى واحد من كل أربعة.

📖 المصدر

النظر إلى الأمام: مستقبل كشف نصوص الذكاء الاصطناعي

تخدم دراسة Epoch AI كنداء تنبيه مهم. كاشفات نصوص AI ليست موثوقة كما افترضنا سابقاً، وتنخفض فعاليتها بشكل حاد عندما تحاول نماذج اللغة عمداً تقليد أسلوب المؤلف. هذا مشكل بشكل خاص في التعليم، حيث تُستخدم هذه الأدوات على نطاق واسع لفحص أعمال الطلاب.

محاكاة الأسلوب هي تقنية سهلة الوصول — لا تتطلب هندسة أوامر متطورة أو أدوات متخصصة. مجرد توفير نموذج AI ببعض العينات من كتابة المؤلف يكفي لإنتاج نص مشابه بشكل مقنع. مع استمرار تحسن النماذج الرائدة، ستصبح هذه القدرة أكثر دقة.

يتطلب الطريق إلى الأمام على الأرجح مناهج جديدة لكشف نصوص AI. قد لا يعد التحليل الإحصائي الخالص كافياً. قد تجمع الحلول المستقبلية بين تحليل النص التقليدي والتحقق من البيانات الوصفية وتتبع تاريخ الكتابة وجمع الأدلة متعددة الوسائط. حتى ذلك الحين، يجب التعامل مع نتائج كاشفات نصوص AI بحذر — خاصة عندما يتعلق الأمر بالنصوص العلمية والأكاديمية.

📖 المصدر