Ember-1 ve Kimi K3: neredeyse aynı sonuç, 3,4 kat daha yüksek hız

Fireworks Research, 23 Eylül'de araştırma sürümü olarak Moonshot'ın açık ağırlıklı modeli Kimi K3 üzerine kurulu Ember-1 modelini tanıttı. Şirkete göre yeni model, Kimi K3'ün kalitesine yaklaşık %40 daha az token ile ulaşıyor. “Gereksiz akıl yürütmeyi azaltmayı, gerekli düşünmeyi koruyarak öğrendi” diyor Fireworks Research. Akıl yürütme token'ları output tarifesiyle hesaplanıyor, bu yüzden daha az düşünmek daha ucuz.

OpenRouter'da Ember-1'in fiyatı milyon input token başına 3 dolar, output token başına 15 dolar. Fireworks aynısını Kimi K3 için de istiyor, ancak diğer sağlayıcılar Kimi'yi milyon input token başına 1 dolardan ve output token başına 9 dolardan satıyor.

Testler nasıl yapıldı

The New Stack yayını her iki modeli OpenRouter üzerinden aynı istemler ve varsayılan parametrelerle çalıştırdı ve adil karşılaştırma için ikisini de Fireworks'e yönlendirdi. Her test beş kez çalıştırıldı, akıl yürütme token'ları ise kalan output'tan ayrı kaydedildi.

Üç görev türü giderek zorlaştı: 4, 5 ve 7 mühendisli mantık bulmacaları; 12 hizmet, bağımlılıklar, iki “blackout” penceresi ve 17 saatlik optimal plan içeren çalıştırma takvimi; ve yanıtların kesin kesirler olduğu yinelenen istek sistemi üzerine beş olasılık sorusu. Yanıtlar iki bağımsız yöntemle doğrulandı.

Sonuçlar

Mantık bulmacalarında her iki model de üç görevin tamamını beş çalıştırmanın tamamında doğru çözdü. Ember-1 ortalama 13.630 akıl yürütme token'ı, 3 dakika 46 saniye ve 0,27 dolar harcadı; Kimi K3 ise 16.679 token, 12 dakika 26 saniye ve 0,34 dolar harcadı. Bu %18 daha az akıl yürütme token'ı demek. Kimi K3'ün en yavaş çalıştırması neredeyse 20 dakika sürdü.

Çalıştırma takviminde ikisi de 17 saatlik planı buldu ve tüm planlar doğrulama testini geçti. Ember-1 6.543 token ve 1 dakika 29 saniye harcadı, Kimi K3 7.792 token ve 4 dakika 46 saniye. Olasılık testinde tek hata kaydedildi: Kimi K3 beş çalıştırmanın tamamında tüm yanıtları doğru verdi, Ember-1 ise yalnızca dördünde. Beşincisinde küçük bir aritmetik hata yaptı, 0,94629 yerine 0,94619 yazdı ve bu kusur iki başka yanıta da geçti.

Toplamda Kimi K3 15 çalıştırmanın 15'ini hatasız tamamladı, Ember-1 15'ten 14'ünü. Fireworks tarifeleriyle testlerin toplam maliyeti Ember-1 için 2,48 dolar, Kimi K3 için 3,26 dolardı, yani Ember-1 yaklaşık %24 daha ucuz. Ancak Kimi K3'ün fiyatı sağlayıcıya bağlı: en düşük tarifede aynı testler 1,96 dolar tutardı, Ember-1'den daha az.

Bu pratikte ne anlama geliyor

Pazarlama materyallerinde Ember-1'in her test setini Kimi K3'ten 3,4 kat daha hızlı tamamladığı ve akıl yürütme token'larını toplamda %23 daha az harcadığı gerçeği yer almıyordu. Yazarın sonucuna göre doğruluk açısından iki model aynı seviyede. Neredeyse aynı sonucu mümkün olduğunca hızlı isteyenler için Ember-1 daha iyi; fiyat onlar için öncelikliyse, ucuz sağlayıcıya yönlendirilen Kimi K3 daha ucuz çıkıyor.