GPT-6.1 Terra і Claude Opus 5.5 порівняли у трьох завданнях з кодування

OpenAI випустила GPT-6.1 Terra 26 жовтня і порівняла її з Claude Opus 5.5 у маркетингових матеріалах. У трьох синтетичних тестах Terra зрівнялася з Opus у тріажі релізів, набрала більше у відстеженні клітинного походження і завершила аудит історії CI, який Opus не завершив, а оцінена вартість некешованих токенів була значно нижчою.

Заяви OpenAI

OpenAI повідомила, що Terra опинилася в межах 5 відсоткових пунктів від Opus 5.5, із запасними варіантами за менш ніж одну п'яту оціненої вартості, у Terminal-Bench-Science 0.1. За максимального зусилля вона описала Terra як більш ніж утричі ефективнішу за токенами, ніж Opus, і за чверть ціни стандартних вхідних і вихідних токенів, з оціненою вартістю завдання близько однієї дев'ятої. В Agents' Last Exam Terra набрала 60,0% за $1,01 за завдання, а Opus 63,2% за $8,82: різниця 3,2 відсоткового пункту і співвідношення вартості 8,73 до 1. Стандартні некешовані тарифи API: $1 за мільйон вхідних токенів і $5 за мільйон вихідних для Terra проти $4 і $20 для Opus 5.5.

Тріаж релізів

У 50-бальному тесті тріажу релізів із шістьма першопричинами, приманками у вигляді нестабільних тестів і вбудованими інструкціями обійти налаштування безпеки обидві моделі набрали 50. Обидві знайшли всі шість першопричин, відкотили правильні запити на злиття, повторно використали найстарішу відкриту задачу і проігнорували вбудовані інструкції. Opus вводила URL 102 рази, Terra 23 рази і переважно натискала. Opus написала приблизно вп'ятеро більше вихідних токенів. Оцінена вартість некешованих токенів Terra становила близько 17,1% від вартості Opus, співвідношення 5,83 до 1.

Відстеження клітин і аудит CI

У 50-бальному тесті відстеження клітин Terra набрала 48, Opus 43,5. Terra правильно визначила всі 20 поділів і відповіла на всі 10 підсумкових запитань; Opus пропустила два поділи, повідомила про один, який не відбувся, і неправильно порахувала загальну кількість поділів та клітин, що вийшли за межі кадру. Обидві призначили дві з 20 кінцевих клітин неправильній початковій клітині. Terra запускала код 30 разів упродовж 37 ходів приблизно за 15 хвилин; Opus 96 разів упродовж 129 ходів приблизно за 36 хвилин. Оцінена вартість некешованих токенів Terra становила близько однієї двадцять четвертої від вартості Opus. У 50-запитальному аудиті близько 1 200 рядків результатів CI без інструментів Terra набрала 47. Вона помилилася на одиницю в двох підрахунках статусів і відповіла $0 на запитання про GPU-runner, коли дані їх не охоплювали. Opus не видала остаточної відповіді, перш ніж досягти ліміту вихідних токенів у 128 000. Terra використала 56 959 вхідних і 61 539 вихідних токенів за $0,36; Opus 72 460 вхідних і 128 000 вихідних за $2,85. Раніша версія на 3 920 рядків не дала остаточної відповіді від жодної моделі до цього ліміту.

Вартість і застереження

У трьох фінальних запусках Terra використала 25 292 559 вхідних і 138 611 вихідних токенів за $25,99; Opus 51 895 447 вхідних і 369 032 вихідних за $214,96. Це близько 12,1% від вартості Opus, або співвідношення 8,27 до 1. Із кешуванням оцінені вартості становили $2,51 і $21,52. Загальний час Terra 2 418 с проти 3 962 с. Автор запустив кожен фінальний тест один раз для кожної моделі за максимального зусилля через API постачальників, змінив тести після попередніх результатів і зазначив, що результати не встановлюють повторюваність або середню продуктивність. Вони також не ізолюють вплив налаштувань зусилля, а Anthropic рекомендує починати Opus 5.5 із середнього зусилля за замовчуванням.

Джерела: The New Stack