Fireworks AI-nın vitse-prezidenti: on-prem AI GPU xərclərini boşa çıxara bilər

Fireworks AI on-premises AI yerləşdirmələrini dəstəkləyir, lakin vitse-prezident Rob Ferguson deyir ki, bir çox şirkət modelləri öz data mərkəzlərində işlətməməlidir, çünki GPU avadanlığı bahalıdır və az istifadə olunarsa, xərci yüksəkdir. İdarə olunan inferens provayderi həmçinin tapşırıqların model portfeli üzrə marşrutlaşdırılmasının, keşləmənin, data emalının və sürətin AI-nın real dəyərini dəyişə biləcəyini deyir.

On-premises AI və GPU iqtisadiyyatı

Ferguson The Register-ə deyib ki, Fireworks AI müştəriləri on-prem AI-dan uzaqlaşdırmağa çalışır, çünki bu, sadəcə iqtisadiyyatdır. O, 10,000 GPU-nun bir milyard dollar kapital olduğunu və şirkətlərin bu sistemlərin boş qalmasını istəmədiyini deyib. Həssas iş yükü üçün Fireworks Sovereign adlı xidmət təklif edir və Microsoft kimi partnyorları var, lakin Ferguson deyib ki, ehtimal ki, çox inferens işi bu səviyyədə qorunmaya ehtiyac duymur.

Tək model əvəzinə model marşrutlaşdırması

Ferguson deyib ki, ən yaxşı model portfeldir, Astra və ya Fable kimi tək model deyil, və bir neçə model arasında marşrutlaşdırma tək modeldən daha yaxşıdır. Fireworks bunu Nexus və API vasitəsilə edir; rəqibləri Together AI, Baseten və DeepInfra ilə birlikdə. Şirkət deyir ki, o, AI şlüzü kimi sadə marşrutlaşdırma etmir; tapşırıqları gəldikcə qiymətləndirir və optimal modelə yönəldir.

Fireworks xüsusi router-lər qurur və onun avtomatik modeli davamlı yenilənir. O, tapşırıq çətinliyini qiymətləndirir və model affinliklərini qeyd edir; məsələn, Kimi JavaScript-də Python-dan bir qədər daha yaxşıdır. Ferguson şirkətin üstünlüyünü mühəndis komandasına və qurucuların PyTorch üzərində işinə bağlayıb; komandanın ədədi hesablamaları, ekspertlər qarışığının topologiyalarını, üzən nöqtə dəqiqliyini və birdən çox provayderi əhatə edə bilən mürəkkəb şəbəkələr üzrə marşrutlaşdırmanı anladığını deyib.

Xərc, data və sürət

Ferguson deyib ki, AI yenə iqtisadiyyata qayıdır; buna keşlənmiş və ya açıq modellərə nə qədər iş göndərilə biləcəyi və ixtisaslaşmanın nə vaxt lazım olduğu daxildir. O, qabaqcıl model şirkətlərinin keşləmə dərəcələri barədə şəffaf olmadığını deyib; Fireworks-in təxminən 90 faiz tapşırıqları keşlədiyi, Anthropic-in Opus-unun isə 30 faiz keşlədiyi verilənlər elmləri üzrə bir şirkəti misal gətirib. O, AI-da təkrar işin ən böyük xərc olduğunu, token xərcinin real xərc olmadığını və müştərilərin tapşırıq başına xərci izləməli olduğunu deyib.

Ferguson həmçinin deyib ki, şirkətlər öz data-larının dəyərini qiymətləndirmirlər. Fireworks-in sıfır data saxlama siyasəti var, lakin o, digər şirkətlərin çox vaxt belə olmadığını və data istifadə olunursa, müştərilərin dəyər almalı olduğunu deyib. O, modellərin yadda saxlayan (memorizer) olduğunu və bunun sübutunun olduğunu deyib. Sürət, əlavə edib, qiymətləndirilmir və onun AI ilə işləmə tərzini dəyişir. Ferguson iddia edib ki, modellərin birləşdirilməsi hesabı ən azı 50 faiz kiçildə bilər. O, Fireworks-in altıdan səkkizə qədər dəfə ucuz olduğunu, müştərilər hələ də qapalı və açıq modellərin qarışığını istifadə etdikdə fakturanın yarıya düşməsini zəmanət etdiyini deyib.

Mənbələr: The Register