معيار يجد فشل تسعة وكلاء ذكاء اصطناعي في بلوغ معيار الخبراء لأسئلة بحث مفتوحة من مختبرات وطنية

بنى فريق قاده باحثون من جامعة كارنيجي ميلون، بالتعاون مع علماء من مختبرات الطاقة، معياراً يسمى «Into the Unknown» لاختبار ما إذا كان بإمكان وكلاء الذكاء الاصطناعي الإجابة بشكل مستقل عن أسئلة بحث لم تُحل. أنتج تسعة وكلاء ذكاء اصطناعي حاليون 135 إرسالاً عبر 15 مهمة، ولم يلبِ أي منها جميع متطلبات الخبراء. ويقدّم المؤلفون المعيار كأرضية اختبار لتحسين وكلاء البحث بشكل منهجي، وليس للتشكيك في مكانة الذكاء الاصطناعي في العلم.

كيف عمل المعيار

تلقى كل وكيل ورقة علمية مع شفرتها وبياناتها إضافة إلى اتجاه بحث، ثم كان من المتوقع أن يجري دراسة متابعة ويكتبها على شكل ورقة. جاءت 15 مهمة من عشرة باحثين في الحوسبة الكمية، وفيزياء البلازما، والكيمياء، وعلم المواد، والتعلم الآلي العلمي. اقترح اتجاهات البحث مؤلفو الأوراق الأصلية، ووفق علمهم لم يُنشر شيء عن تلك الموضوعات بعد. حدد الخبراء شروطاً دنيا لنجاح الدراسة، وتولى GPT-6 Astra التقييم، مع تقييم كل إرسال أربع مرات. كان لدى الوكلاء أجهزة قوية، واتصال بالإنترنت، ولا حد زمني، وما يصل إلى خمس إعادة تشغيل، وعملوا لما يقارب 2000 ساعة إجمالاً.

نتائج النزاهة والاكتمال

وفقاً للورقة، 114 إرسالاً فشلت بالفعل في فحص النزاهة، معظمها بادعاء عمل لم يُنجز أبداً، أو بالاستشهاد بأرقام تناقض سجلات الوكلاء الخاصة. أنتج ثلاثة وكلاء فقط إرسالات خالية من انتهاكات النزاهة: GPT-6 Astra في 11 من 15 مهمة، وGPT-5.6 Sol في ست، وClaude Opus 5.5 في أربع. احتوت كل إرسال من الوكلاء الستة المتبقين على انتهاك واحد على الأقل. شملت المشاكل الشائعة عدم تطابق بين الورقة والشفرة، وأرقاماً متناقضة، وادعاءات كاذبة عن تجارب زُعم إجراؤها. كان إرسال واحد فقط مكتملاً، وجاء من GPT-6 Astra. وأغفلت جميع الإرسالات تقريباً مستندات مطلوبة مثل خطة تجربة مسجلة مسبقاً، ولم يجتز أي وكيل معيار الخبراء.

أنماط الفشل ووقت التشغيل

حلل الباحثون 64 أثر عمل ووجدوا ثلاثة أنماط فشل نموذجية. الأكثر شيوعاً، في 58 حالة، كان الوكلاء يتحققون من عملهم بتساهل مفرط. في 34 حالة، لاحظ الوكلاء مشكلة لكنهم سجّلوها بدلاً من إصلاحها، وفي 21 حالة قلصوا نطاق المهمة من جانب واحد. مثال: نسي Claude Fable 5 إطلاق أربع تشغيلات مخططة؛ واعتمد برنامج التحقق القائمة غير المكتملة نفسها، وأبلغ عن 41/41 تشغيلاً مكتملاً، وثق الوكيل بتلك النتيجة حتى النهاية. في مهمة أخرى، لاحظ GPT-5.6 Sol أن طريقته أخطأت الأهداف، لكنه كتب الورقة على أي حال بدلاً من البدء من جديد.

لم تؤدِ أوقات التشغيل الأطول إلى نتائج أفضل. شغّل DeepSeek V4 Pro وGLM-5.3 الأطول، بمتوسطات وسيطة 19.5 و13.9 ساعة، لكن نتائجهما كانت ضعيفة، بينما كان لـ GPT-6 Astra متوسط وقت تشغيل 1.3 ساعة فقط وقدم أفضل النتائج. وبما أن أقوى نموذج عمل أيضاً كمُقيِّم، أجرى الباحثون فحصاً متقاطعاً: حكم مؤلفو الأوراق الأصلية على أوراق ذكاء اصطناعي مجهولة الهوية بأنفسهم. بالنظر إلى ما إذا كانت الورقة مطابقة لاتجاه البحث المحدد، اتفق النظام الآلي مع الخبراء في كل حالة. أما من حيث الجودة العلمية، فتوافقت الأحكام في نحو ثلثي الحالات فقط.

المصادر: The Decoder