Gemini 4 Argon وClaude Opus 5.5: اختبارات مستقلة تُظهر نتائج مختلطة

قدّمت Google نموذج Gemini 4 Argon لمجموعة صغيرة من المختبرين في 30 سبتمبر ونشرت جدول المقارنات الذي يضع Argon في المقدمة أمام Claude Opus 5.5 في 14 من أصل 18 اختباراً، بما في ذلك DeepSWE (77,9% مقابل 74,2%) وGraphWalks من 256K إلى مليون رمز (84,2% مقابل 66,8%). في 13 أكتوبر، فتحت Google Argon لمطوري Gemini API المدفوع.

نافذة التسعير

حتى 30 نوفمبر، سعر Argon هو 2 دولار لكل مليون رمز إدخال و10 دولارات لكل مليون رمز إخراج، وهو نصف سعر Opus 5.5. اعتباراً من 1 ديسمبر، سيرتفع السعر إلى 4 دولارات و20 دولاراً، وهو ما يطابق Opus. نشرت Google أيضاً أين يتفوق Opus، بما في ذلك Terminal-bench 4.0 (66,4% مقابل 57,4%)، الذي يختبر العمل الوكيلي في سطر الأوامر. أشار المؤلف إلى أن المقارنات المرجعية لا تتطابق دائماً مع العمل الحقيقي وأن فترة نصف السعر لها أهمية فقط إذا كان النموذج مساوياً للمنافس من حيث الجودة.

شغّل المؤلف كل مهمة مرة واحدة لكل نموذج عبر OpenRouter على خوادم Google وAnthropic، بإعدادات الاستدلال الافتراضية. هذه نتائج تشغيلات منفردة، وليست تقديرات للدقة مستخلصة من تجارب متكررة.

اختبارات الكود

عند البحث عن الأخطاء في مكتبة Python مكونة من 3500 سطر، والتي تحتوي على 14 خطأ منطقياً مزروعاً عمداً وخمسة أمثلة مضللة ليست أخطاء فعلية، وجد كلا النموذجين الأخطاء الأربعة عشر جميعها ولم يصنّفا أياً من الأمثلة المضللة على أنه خطأ، ثم أصلحا الأخطاء مع استمرار نجاح جميع الاختبارات القائمة البالغ عددها 93. كلّف Argon حوالي 1 سنت لكل خطأ تم العثور عليه، بينما كلّف Opus 2,4 سنت. في مواصفات الفوترة، التي تقيّمها 80 اختباراً خفياً، اجتاز Opus جميع الاختبارات الثمانين، ثم جميع الاختبارات المئة بعد الإضافة المتعلقة بالعملات؛ بينما اجتاز Argon 11 من 80 و20 من 100. كان سبب فشل Argon سطراً واحداً كان يمرّر وسيطاً زائداً إلى دالة datetime.combine() في Python؛ وبعد التصحيح اليدوي، حصل Argon على 80/80 و100/100.

السياق الطويل والحكم

باستخدام ويكي اصطناعية تضم 400 خدمة، أجاب النموذجان إجابة صحيحة تماماً عن سؤالين من أصل ثلاثة أسئلة عن رسم الاعتماديات، عند كل حجم شغّله كل منهما فعلياً. تجاوز مستند 900K مليون رمز وفق محلّل الرموز في Claude، فرفضته واجهة API لدى Anthropic؛ لذلك لم يُشغّل Opus عند 900K. ولا تعني الأحجام الاسمية للمستندات أن عدد الرموز متطابق بين النموذجين. ظهر الفارق في سؤال blast radius عن الخدمات الثلاث والثلاثين التي تتوقف عند تعطل خدمة واحدة. حدّد Opus جميع الخدمات الـ33 عند 500K و32 منها عند 600K، دون إضافة خدمات خاطئة. أما Argon فحدّد 20 خدمة صحيحة و8 خاطئة عند 500K، و19 صحيحة و16 خاطئة عند 600K، و23 صحيحة و2 خاطئة عند 900K. استخدم Argon من 243 إلى 425 رمز إخراج فقط، مقابل أكثر من 5000 لدى Opus، وأجاب سريعاً دون استدلال ظاهر خطوة بخطوة. وصف المؤلف أخطاء الاستدلال بأنها علامة تحذير كبيرة، لكنه قال إن تجربة واحدة لا تثبت وجود علاقة سببية بينها وبين قِصر الإجابات.

قال المؤلف إن النتائج لم تتطابق مع معايير Google المرجعية ولن يستخدم Argon دون تفكير في أي مهمة. في تصنيف Artificial Analysis، يحصل Opus 5.5 على 58 نقطة، بينما يحصل Argon على 53. في مجموع الاختبارات التي شغّلها كل نموذج فعلياً، كلّف Argon 4,98 دولار في 423,3 ثانية؛ بينما كلّف Opus 8,75 دولار في 511,0 ثانية.

المصادر: The New Stack