Ember-1 і Kimi K3: майже однакові результати, у 3,4 раза вища швидкість

Fireworks Research 23 вересня представила модель Ember-1 як дослідницький реліз, побудовану на моделі Kimi K3 з відкритими вагами від Moonshot. За твердженням компанії, нова модель досягає якості Kimi K3 приблизно на 40% меншою кількістю token. «Вона навчилася скорочувати зайві міркування, зберігаючи потрібне мислення», — заявляє Fireworks Research. Міркувальні token-и тарифікуються за output, тому менше мислення дешевше.

На OpenRouter ціна Ember-1 становить 3 долари за мільйон input token, 15 доларів за output token. Fireworks просить стільки ж і за Kimi K3, хоча інші провайдери продають Kimi за 1 долар за мільйон input token і 9 доларів за output token.

Як проводилося тестування

Видання The New Stack запустило обидві моделі через OpenRouter з однаковими запитами й стандартними параметрами та для справедливого порівняння перенаправило обидві на Fireworks. Кожен тест виконувався п’ять разів, а міркувальні token-и обліковувалися окремо від решти output.

Три типи завдань поступово ускладнювалися: логічні головоломки з 4, 5 і 7 інженерами; графік запуску з 12 сервісами, залежностями, двома вікнами «блекауту» й оптимальним планом на 17 годин; і п’ять запитань із теорії ймовірностей про систему повторних запитів, де відповіді — точні дроби. Відповіді перевірили двома незалежними методами.

Результати

У логічних головоломках обидві моделі правильно розв’язали всі три завдання в усіх п’яти запусках. Ember-1 загалом потребувала 13 630 міркувальних token, 3 хвилини 46 секунд і 0,27 долара, а Kimi K3 — 16 679 token, 12 хвилин 26 секунд і 0,34 долара. Це на 18% менше міркувальних token. Найповільніший запуск Kimi K3 тривав майже 20 хвилин.

У графіку запуску обидві знайшли 17-годинний план, і всі плани пройшли перевірку. Ember-1 потребувала 6 543 token і 1 хвилину 29 секунд, Kimi K3 — 7 792 token і 4 хвилини 46 секунд. У тесті на ймовірність зафіксовано єдину помилку: Kimi K3 правильно дала всі відповіді в усіх п’яти запусках, а Ember-1 — лише в чотирьох. У п’ятому вона припустилася невеликої арифметичної помилки, написавши 0,94619 замість 0,94629, і ця вада перейшла ще у дві відповіді.

Загалом Kimi K3 виконала 15 із 15 запусків без помилок, Ember-1 — 14 із 15. За тарифами Fireworks загальна вартість тестів для Ember-1 становила 2,48 долара, для Kimi K3 — 3,26 долара, тобто Ember-1 приблизно на 24% дешевша. Однак ціна Kimi K3 залежить від провайдера: на мінімальному тарифі ті самі тести коштували б 1,96 долара, менше, ніж для Ember-1.

Що це означає на практиці

У маркетингових матеріалах не фігурував той факт, що Ember-1 виконував кожен набір тестів у 3,4 раза швидше за Kimi K3, а міркувальних token загалом витрачав на 23% менше. За висновком автора, за точністю обидві моделі на одному рівні. Тим, кому потрібен майже ідентичний результат максимально швидко, краще підходить Ember-1; для кого ціна головна, перенаправлений до дешевого провайдера Kimi K3 виходить дешевшим.