مقارنة GPT-6.1 Terra وClaude Opus 5.5 في ثلاث مهام برمجية

أطلقت OpenAI نموذج GPT-6.1 Terra في 26 أكتوبر وقارنته مع Claude Opus 5.5 في مواد تسويقية. في ثلاث اختبارات تركيبية منفصلة، تعادل Terra مع Opus في فرز الإصدارات، وسجل أعلى في نسب الخلايا، وأكمل تدقيق سجل CI الذي لم يكمله Opus، بينما كانت تكاليف الرموز غير المخزنة المقدرة أقل بكثير.

ادعاءات OpenAI

قالت OpenAI إن Terra كان ضمن خمس نقاط مئوية من Opus 5.5، مع بدائل بتكاليف أقل من خمس التكلفة المقدرة، على Terminal-Bench-Science 0.1. عند أقصى جهد، وصفت Terra بأنها أكثر من ثلاث مرات كفاءة في استخدام الرموز من Opus وربع السعر للرموز القياسية للإدخال والإخراج، مع تكلفة مقدرة لكل مهمة تبلغ نحو واحد من تسعة. في Agents' Last Exam، سجل Terra 60.0% بتكلفة 1.01 دولار لكل مهمة وسجل Opus 63.2% بتكلفة 8.82 دولار، بفارق 3.2 نقطة ونسبة تكلفة 8.73 إلى 1. معدلات API القياسية غير المخزنة هي 1 دولار لكل مليون رمز إدخال و5 دولارات لكل مليون رمز إخراج لـ Terra، مقابل 4 و20 دولاراً لـ Opus 5.5.

فرز الإصدارات

في اختبار فرز الإصدارات بـ 50 نقطة، مع ستة أسباب جذرية، وطعوم اختبارات غير مستقرة، وتعليمات مزروعة لتجاوز إعدادات الأمان، سجل كلا النموذجين 50. وجد كلاهما جميع الأسباب الجذرية الستة، وأعاد الـ pull requests الصحيحة، وأعاد استخدام أقدم مشكلة مفتوحة، وتجاهل التعليمات المزروعة. كتب Opus عناوين URL 102 مرة، بينما فعل Terra ذلك 23 مرة ونقر في الغالب. كتب Opus نحو خمسة أضعاف رموز الإخراج. كانت تكلفة Terra المقدرة للرموز غير المخزنة نحو 17.1% من تكلفة Opus، بنسبة 5.83 إلى 1.

نسب الخلايا وتدقيق CI

في اختبار تتبع الخلايا بـ 50 نقطة، سجل Terra 48 وسجل Opus 43.5. طابق Terra جميع الانقسامات الـ 20 وأجاب جميع أسئلة الملخص الـ 10؛ أخطأ Opus في انقسامين، وأبلغ عن انقسام لم يحدث، وأخطأ في عد إجمالي الانقسامات والخلايا التي انحرفت خارج الإطار. أضاف كلاهما خليتين من 20 خلية نهائية إلى خلية البداية الخاطئة. شغّل Terra الشفرة 30 مرة عبر 37 دورة في نحو 15 دقيقة؛ شغّل Opus الشفرة 96 مرة عبر 129 دورة في نحو 36 دقيقة. كانت تكلفة Terra المقدرة للرموز غير المخزنة نحو واحد من أربعة وعشرين من تكلفة Opus. في تدقيق 50 سؤالاً يشمل نحو 1,200 صف من نتائج CI بدون أدوات، سجل Terra 47. أخطأ بواحد في عدّ حالتين، وأجاب 0 دولار لسؤال GPU-runner عندما لم تغطِّ البيانات هذه الوحدات. لم ينتج Opus إجابة نهائية قبل بلوغ حد إخراج 128,000 رمز. استخدم Terra 56,959 رمز إدخال و61,539 رمز إخراج، بتكلفة مقدرة 0.36 دولار؛ واستخدم Opus 72,460 رمز إدخال و128,000 رمز إخراج، بتكلفة مقدرة 2.85 دولار. لم تنتج نسخة سابقة من 3,920 صفًا إجابة نهائية من أي نموذج قبل ذلك الحد.

التكاليف والتحفظات

عبر التشغيلات النهائية الثلاث، استخدم Terra 25,292,559 رمز إدخال و138,611 رمز إخراج بتكلفة غير مخزنة مقدرة 25.99 دولار؛ واستخدم Opus 51,895,447 رمز إدخال و369,032 رمز إخراج بـ 214.96 دولار. وهذا نحو 12.1% من ذلك، أو نسبة 8.27 إلى 1. كانت التكاليف المقدرة مع التخزين المؤقت 2.51 و21.52 دولار. كان إجمالي الوقت المنقضي لـ Terra 2,418 ثانية مقابل 3,962 ثانية. شغّل المؤلف كل اختبار نهائي مرة واحدة لكل نموذج عند أقصى جهد عبر واجهات برمجة تطبيقات البائعين، وغيّر الاختبارات بعد النتائج السابقة، وقال إن النتائج لا تثبت قابلية التكرار أو الأداء المتوسط. كما أنها لا تعزل تأثير إعدادات الجهد، وتوصي Anthropic ببدء Opus 5.5 عند الجهد المتوسط الافتراضي.

المصادر: The New Stack