Ember-1 və Kimi K3: demək olar ki, eyni nəticə, 3,4 dəfə yüksək sürət

Fireworks Research sentyabrın 23-də tədqiqat buraxılışı kimi Moonshot-un açıq çəkilər modeli Kimi K3 əsasında qurulmuş Ember-1 modelini təqdim etdi. Şirkətin iddiasına görə, yeni model Kimi K3-ün keyfiyyətinə təxminən 40% daha az token ilə çatır. “O, lazımi düşüncəni saxlayaraq artıq mülahizəni azaltmağı öyrəndi” deyə Fireworks Research bildirir. Mülahizə tokenləri output tarifi ilə hesablanır, buna görə daha az düşünmək daha ucuzdur.

OpenRouter-də Ember-1-in qiyməti milyon input token üçün 3 dollar, output token üçün 15 dollardır. Fireworks eyni qiyməti Kimi K3 üçün də tələb edir, lakin digər provayderlər Kimi-ni milyon input token üçün 1 dollara və output token üçün 9 dollara satırlar.

Test necə aparıldı

The New Stack nəşri hər iki modeli OpenRouter vasitəsilə, eyni sorğular və standart parametrlərlə işə saldı və ədalətli müqayisə üçün hər ikisini Fireworks-ə yönləndirdi. Hər test beş dəfə icra edildi, mülahizə tokenləri isə qalan output-dan ayrıca qeydə alındı.

Üç növ tapşırıq tədricən çətinləşirdi: 4, 5 və 7 mühəndisli məntiq tapmacaları; 12 xidmət, asılılıqlar, iki “blackout” pəncərəsi və 17 saatlıq optimal planla işə salma cədvəli; və cavabları dəqiq kəsrlər olan təkrar sorğu sistemi üzrə beş ehtimal sualı. Cavablar iki müstəqil üsulla yoxlanıldı.

Nəticələr

Məntiq tapmacalarında hər iki model üç tapşırığın hamısını beş işə salmanın hər birində düzgün həll etdi. Ember-1-ə orta hesabla 13 630 mülahizə tokeni, 3 dəqiqə 46 saniyə və 0,27 dollar lazım oldu, Kimi K3-ə isə 16 679 token, 12 dəqiqə 26 saniyə və 0,34 dollar. Bu, 18% daha az mülahizə tokenidir. Kimi K3-ün ən yavaş işə salınması təxminən 20 dəqiqə çəkdi.

İşə salma cədvəlində hər ikisi 17 saatlıq plan tapdı və bütün planlar yoxlama testindən keçdi. Ember-1-ə 6 543 token və 1 dəqiqə 29 saniyə lazım oldu, Kimi K3-ə 7 792 token və 4 dəqiqə 46 saniyə. Ehtimal testində yeganə səhv qeydə alındı: Kimi K3 bütün cavabları beş işə salmanın hamısında düzgün verdi, Ember-1 isə yalnız dördündə. Beşincidə kiçik arifmetik səhv etdi, 0,94629 əvəzinə 0,94619 yazdı və bu qüsur digər iki cavaba da keçdi.

Cəmi Kimi K3 15-dən 15 işə salmanı səhvsiz yerinə yetirdi, Ember-1 isə 15-dən 14. Fireworks tarifləri ilə testlərin ümumi dəyəri Ember-1 üçün 2,48 dollar, Kimi K3 üçün 3,26 dollar idi, yəni Ember-1 təxminən 24% daha ucuzdur. Lakin Kimi K3-ün qiyməti provayderdən asılıdır: minimum tarifdə eyni testlər 1,96 dollar olardı, Ember-1-dən az.

Bu praktikada nə deməkdir

Marketinq materiallarında Ember-1-in testlərin hər dəstini Kimi K3-dən 3,4 dəfə daha sürətli yerinə yetirdiyi, ümumilikdə isə mülahizə tokenlərini 23% daha az xərclədiyi faktı yer almırdı. Müəllifin nəticəsinə görə, dəqiqlik baxımından hər iki model eyni səviyyədədir. Demək olar ki, eyni nəticəni maksimum sürətlə istəyənlər üçün Ember-1 daha yaxşıdır; qiymət əsas olanlar üçün isə daha ucuz provayderə yönləndirilmiş Kimi K3 daha ucuz alınır.