معايير القياس تكشف عيوب استدلال الذكاء الاصطناعي، والنماذج الجديدة مفتوحة الوزن تتخلف عن الصين

يتضمن Import AI 476 معايير قياس تختبر عيوب نماذج الذكاء الاصطناعي، والنماذج الجديدة مفتوحة الوزن من الشركات الناشئة الغربية، وجهود الحكومة لتجميع أجهزة الكمبيوتر الخارقة لتدريب الذكاء الاصطناعي.

Humanity's Sixth Sense يكشف عيوب الاستدلال البصري

أطلقت شركتا ناشرتان في الذكاء الاصطناعي، Elorian و Scale AI، معيار القياس Humanity's Sixth Sense (HSS)، الذي يقيس كيفية استدلال النماذج بشأن المشاهد البصرية التي لا تظهر معلومات بشكل واضح. تتضمن 522 سؤالاً تغطي 288 صورة و234 مقطع فيديو، بإجمالي 17,6 ساعة، وتشمل الزمن والديناميكيات السببية، والمنطق الفيزيائي والمكاني، والفهم الاجتماعي، والاستنتاجات المجردة والسياقية.

يحقق البشر متوسط 93,1 في pass@1، بينما يحقق أفضل نظام ذكاء اصطناعي، GPT 6 Astra، درجة 53,6. والنماذج الصينية مفتوحة الوزن متخلفة: GLM-5.3-flash بـ 26,8، و Kimi K3 بـ 25,5. كان الفشل الأكثر شيوعاً هو حذف التفاصيل الحاسمة في الإجابة (21%)، ثم التعرف الخاطئ على الكائنات أو الأشخاص أو الأدوار (20%). تضعف النتائج الافتراض بأن الاستدلال البصري يتطلب نماذج خاصة بعوالم 2D و 3D.

الحس البحثي للذكاء الاصطناعي يتطور بسرعة

يقيّم معيار TasteVal من P-Zero Research ما إذا كانت النماذج قادرة على اختيار مشاكل مثيرة للاهتمام، وتخطيط التجارب، وتفسير النتائج في ثماني مهام: تنقيح بيانات التدريب المسبقة، ونمذجة التفضيلات، والمتانة ضد المطالبات العدائية. تتم مقارنة النتائج مع 24 خبيراً، بما في ذلك من OpenAI و Google DeepMind و NVIDIA و Microsoft Research.

وفقاً للمؤلفين، يتضاعف الحس البحثي التجريبي كل 3,0 أشهر منذ ديسمبر 2025، بينما يتفوق أفضل نموذج، Opus 5.5، على المعيار البشري الأساسي بمعامل 2,30x، بمتوسط تكلفة تمثل حوالي عُشر جهد الخبراء. يقول جاك كلارك إن هذا يعزز الاعتقاد بأن التحسين الذاتي التكراري الكامل سيتحقق في 2027 وليس 2028.

النماذج الجديدة مفتوحة الوزن تتخلف عن المنافسين الصينيين

قدّمت Reflection نموذج Beam، وهو نموذج مزيج خبراء بـ 501 مليار معامل مع 23 مليار معامل نشط، من أجل كفاءة الرموز. تم تدريبه مسبقاً لمدة أربعة أسابيع على 6 144 من وحدات GB300 NVL72 GPU، ثم بالتعلم المعزز على حوالي 10 500 من نفس وحدات GPU، مع 23,8 تريليون رمز. يحقق Beam درجة 44,4 في DeepSWE 1.1، مقابل 61 لـ GLM-5.3، لكنه يساوي GLM-5.2 بأربع مرات أقل من حسابات الاستدلال. من المخطط نشر الأوزان والتقارير الفنية في نهاية هذا الشهر.

أعلنت Mistral عن Mistral Large 4، نموذج مفتوح الوزن لمهام الأمن السيبراني، مع حالات فشل أقل من النماذج الاحتكارية لـ Anthropic و OpenAI. تم تدريبه في مراكز البيانات الأوروبية على 3 800 من وحدات NVIDIA Grace Blackwell GPU. حصل على 62 في DeepSWE 1.1 مقابل 68 لـ Kimi K3. وفقاً لـ Mistral، في الاختبارات الداخلية فضل المستخدمون ML4 في CAD و STEM، بينما يتنافس بالتساوي مع GLM-5.3 في المالية والبرمجة.

المختبرات الحكومية تجمع أجهزة الكمبيوتر الخارقة للذكاء الاصطناعي

يُظهر مشروعان لوزارة الطاقة الأمريكية كيفية توزيع التدريب الفيدرالي للذكاء الاصطناعي على المهام في المختبرات الوطنية. درّب الباحثون نماذج قائمة على LLaMA على أنظمة Sandia و Lawrence Livermore و Los Alamos، بما في ذلك El Capitan، بينما تم ضبط LLaMA-2 7B على بيانات الكيمياء على حوالي 1 700 من وحدات GPU من Intel و NVIDIA و AMD في Argonne و Oak Ridge و Berkeley Lab. يلاحظ المؤلفون أن الحجم يتخلف عن الخط الأمامي بنحو 100x، لكنهم يعتبرون النهج الفيدرالي مجرد بداية.

المصادر: Import AI