Gemini 4 Argon проти Claude Opus 5.5: незалежні тести показують змішані результати

Google представила Gemini 4 Argon малій групі тестувальників 30 вересня разом із таблицею бенчмарків, у якій Argon випереджав Claude Opus 5.5 у 14 з 18 тестів, зокрема DeepSWE (77,9% проти 74,2%) і GraphWalks від 256K до 1 мільйона токенів (84,2% проти 66,8%). 13 жовтня Google відкрила Argon у Gemini API для платних розробників.

Цінове вікно

До 30 листопада Argon коштує $2 за мільйон вхідних токенів і $10 за мільйон вихідних токенів, за половину ціни Opus 5.5. З 1 грудня ціна зросте до $4 і $20, на рівні Opus. Google також опублікувала, де лідирує Opus, зокрема Terminal-bench 4.0 (66,4% проти 57,4%), яка перевіряє агентну роботу у командному рядку. Автор зазначив, що бенчмарки не завжди відповідають реальній роботі, а вікно за половину ціни має значення лише тоді, коли модель за якістю відповідає конкуренту.

Автор запустив кожне завдання один раз для кожної моделі через OpenRouter на серверах Google та Anthropic, зі стандартними налаштуваннями міркування. Це результати окремих запусків, а не оцінка точності за повторними випробуваннями.

Тести коду

Під час пошуку помилок у 3500-рядковій бібліотеці Python, де були 14 вбудованих логічних помилок і п'ять пасток, обидві моделі знайшли всі 14 помилок і не позначили жодної пастки, а потім виправили їх і знову успішно пройшли всі 93 наявні тести. Argon витрачав в середньому близько 1 цента на кожну знайдену помилку, Opus коштував 2,4 цента. У завданні зі специфікацією білінгу, яке оцінювали 80 прихованими тестами, Opus пройшов усі 80, а після додаткових перевірок валют - усі 100 тестів, Argon - 11 з 80 і 20 з 100. Причина невдачі Argon полягала в одному рядку, який передавав зайвий аргумент функції Python datetime.combine(); після ручного виправлення Argon набрав 80/80 і 100/100.

Довгий контекст і вердикт

У тесті зі штучною вікі про 400 сервісів обидві моделі безпомилково відповіли на два з трьох запитань про граф залежностей для кожного розміру, який вони фактично обробили. Документ розміром 900K перевищив мільйон токенів за токенізатором Claude, тому API Anthropic відхилив його: Opus не запускали на 900K. Номінальні розміри документів не означають однакової кількості токенів для обох моделей. Різниця проявилася в запитанні про blast radius: які 33 сервіси припинять працювати через відмову одного. Opus правильно назвав усі 33 на 500K і 32 на 600K без зайвих сервісів. Argon назвав 20 правильних і 8 неправильних на 500K, 19 правильних і 16 неправильних на 600K та 23 правильних і 2 неправильних на 900K. Argon використав лише 243-425 вихідних токенів проти понад 5000 у Opus і відповідав без видимого покрокового міркування. Автор назвав помилки міркування серйозним сигналом небезпеки, але за одним запуском не міг довести причинного зв'язку між ними й короткими відповідями.

Автор сказав, що результати не відповідали бенчмаркам Google і не став би беззастережно довіряти Argon у жодному завданні. У рейтингу Artificial Analysis Opus 5.5 має 58 балів, Argon - 53. За тестами, які кожна модель фактично виконала Argon коштував $4,98 за 423,3 секунди; Opus - $8,75 за 511,0 секунди.

Джерела: The New Stack