Fireworks AI Başkan Yardımcısı: şirket içi AI, GPU harcamasını boşa harcayabilir

Fireworks AI şirket içi AI dağıtımlarını destekliyor, ancak Başkan Yardımcısı Rob Ferguson birçok şirketin modellerini kendi veri merkezlerinde çalıştırmaktan kaçınması gerektiğini savunuyor; çünkü GPU donanımı pahalıdır ve yeterince kullanılmadığında maliyetlidir. Yönetilen çıkarım sağlayıcısı ayrıca görevleri bir model portföyü arasında yönlendirmenin, önbelleğe almanın, veri işlemenin ve hızın AI işinin gerçek maliyetini değiştirebileceğini söylüyor.

Şirket içi AI ve GPU ekonomisi

Ferguson The Register'a Fireworks AI'nın müşterileri şirket içi AI'dan uzaklaştırmaya çalıştığını, çünkü mesele tamamen ekonomi olduğunu söyledi. 10,000 GPU'nun bir milyar dolarlık sermayeyi temsil ettiğini ve şirketlerin bu sistemlerin boşta kalmasını istemediğini söyledi. Hassas iş yükleri için Fireworks Sovereign adlı bir hizmet sunuyor ve Microsoft gibi ortakları var; ancak Ferguson çoğu çıkarım işinin o düzeyde korumaya ihtiyacı olmadığını söyledi.

Tek model yerine model yönlendirme

Ferguson en iyi modelin Astra veya Fable gibi tek bir model değil, bir portföy olduğunu ve birkaç model arasında yönlendirmenin tek bir model kullanmaktan daha iyi olduğunu söyledi. Fireworks bunu Nexus ve API'si aracılığıyla, rakipleri Together AI, Baseten ve DeepInfra'nın yanında yapıyor. Şirket bir AI ağ geçidi gibi basit yönlendirme yapmadığını; görevleri geldikçe değerlendirip en uygun modele yönlendirdiğini söylüyor.

Fireworks özel yönlendiriciler oluşturuyor ve otomatik modeli sürekli güncelleniyor. Görev zorluğunu derecelendiriyor ve model yakınlıklarını not ediyor; örneğin Kimi JavaScript'te Python'dan biraz daha iyi. Ferguson şirketin üstünlüğünü mühendislik ekibine ve kurucuların PyTorch üzerindeki çalışmasına bağladı; ekip sayısal yöntemleri, uzman karışımı topolojilerini, kayan nokta hassasiyetini ve birden fazla sağlayıcıyı içerebilen karmaşık yapılarda yönlendirmeyi anlıyor dedi.

Maliyet, veri ve hız

Ferguson AI'nın sürekli ekonomiye geri döndüğünü, buna önbelleğe alınmış veya açık modellere ne kadar iş gidebileceği ve ne zaman uzmanlaşmaya ihtiyaç duyulduğu dahil olduğunu söyledi. Önde gelen model şirketlerinin önbelleğe alma oranları konusunda şeffaf olmadığını, Fireworks'in görevlerin yaklaşık %90'ını önbelleğe aldığı; Anthropic'in Opus'u ise %30'unu önbelleğe aldığı bir veri bilimi şirketini örnek gösterdi. AI'da yeniden işlemenin en büyük maliyet olduğunu, token maliyetinin gerçek maliyet olmadığını ve müşterilerin görev başına maliyeti izlemesi gerektiğini söyledi.

Ferguson ayrıca şirketlerin verilerinin değerini olduğundan düşük gördüğünü söyledi. Fireworks sıfır veri saklama politikasına sahip, ancak diğer şirketler çoğu zaman sahip değil ve verileri kullanılıyorsa müşteriler değer elde etmeli. Modeller ezberleyicidir ve buna dair kanıt var dedi. Hız yeterince takdir edilmiyor ve AI ile çalışma biçimini değiştiriyor. Ferguson, model birleştirmenin bir faturayı en az %50 daha küçük hale getirebileceğini iddia etti. Fireworks altı ila sekiz kat daha ucuz diyor; müşteriler hâlâ kapalı ve açık modellerin bir karışımını kullandığında faturanın yarıya inmesini garanti ediyor.

Kaynaklar: The Register