Claude Opus 5.5 і Fable 5.1: один думає занадто, інший шукає короткий шлях

Anthropic випустила Claude Opus 5.5 22 вересня. За заявою компанії, модель у більшості робочих задач працює на рівні Claude Fable 5.1. За каталожною ціною Opus 5.5 коштує 4 долари за мільйон вхідних токенів і 20 доларів за мільйон вихідних, а Fable 5.1 — 10 і 50 доларів. Opus 5.5 випереджає Fable 5.1 у Terminal-Bench 4.0, FrontierCode та CursorBench, хоча, за словами Anthropic, різниця «менша за ці показники».

Документація Anthropic усе ж радить розробникам Fable 5.1 для складних міркувань і тривалої агентної роботи. The New Stack перевірив обидві моделі на трьох задачах із коду; кожна запускалася п’ять разів і оцінювалася прихованими тестами. Ліміт вихідних токенів підняли з 64 000 до 128 000, бо Opus 5.5 не вистачало місця; Fable 5.1 ніколи не потребував понад 55 000 токенів.

Де виграв, а де програв

В агентному тесті обидві моделі виправили всі чотири вбудовані баги й пройшли 12 прихованих перевірок. Різниця проявилася в нестабільному тесті: він випадково падає, бо код імітує повільний виклик API транспортної компанії. Fable 5.1 у всіх п’яти запусках прибирав симульовану затримку, тому тест проходить завжди; у реальному продукті це означає видалення виклику API компанії. Opus 5.5 залишив код без змін і сказав, що зменшення затримки «лише призвело б до проходження тесту й нічого не виправило». У цьому тесті Opus 5.5 виявився дешевшим: 0,75 долара за запуск проти 1,50 долара у Fable 5.1.

У задачі resolver зі 120 тестами обидві моделі були безпомилковими в усіх п’яти запусках. Opus 5.5 у середньому потребував 9 хвилин 40 секунд і 1,42 долара, Fable 5.1 — 6 хвилин 46 секунд і 1,96 долара: на 83% більше токенів, але на 28% менша вартість.

Результат вирішив конкурентний тест. Fable 5.1 виправив усі три race condition і пройшов усі вісім прихованих тестів у кожному запуску, а Opus 5.5 зміг це лише в трьох запусках; у решті двох він повністю витратив 128 000 вихідних токенів і не завершив відповідь. У середньому Opus 5.5 потребував 16 хвилин 43 секунд і 2,24 долара, Fable 5.1 — 8 хвилин 27 секунд і 2,17 долара.

Висновок

Із 15 запусків Fable 5.1 був безпомилковим 15 разів, а Opus 5.5 — 13 разів. Загальна вартість — 22,07 долара для Opus 5.5 і 28,14 долара для Fable 5.1, тобто економія 22%, але з у 2,2 раза більшою кількістю вихідних токенів і на 67% більшим часом. На думку автора, Opus 5.5 думає занадто багато, а Fable 5.1 обирає короткий шлях і видаляє код, потрібний застосунку; жоден не заслуговує ярлика преміум-моделі. Opus 5.5 краще підходить для агентної роботи, де він може запускати тести й перевіряти себе, а Fable 5.1 — для складного завдання, яке треба розв’язати з однієї спроби.