Baseten OpenAI B2B Marketplace-in ilk tərəfdaşlarındandır

Baseten OpenAI-ın B2B Marketplace-ində açıq modellər üçün inferens təmin edən ilk təchizatçılardan biri olub. Şirkətin bəyanatına görə, o, OpenAI istifadəçilərinə açıq modelləri Codex daxilində və Responses API vasitəsilə təklif edir.

Korporativ müştəri üçün nə dəyişir

Baseten-in bloqunda yayımlanmış bəyanata görə, təşkilatlar artıq bağlanmış OpenAI öhdəliklərini Baseten-də işləyən açıq modellər üçün də istifadə edə bilər: həm Codex-də, həm də Responses API vasitəsilə. Codex və GPT modelləri kod generasiyası üçün ən populyar seçimlərdən biridir, ona görə də işin bir hissəsini açıq modellərə keçirmək şirkətin məqsədidir: bir dollara daha çox intellekt.

Çoxmodelli iş axını

Baseten-in qiymətləndirməsinə görə, AI agentləri ilə kod yazmaq hazırda AI-ın ən geniş yayılmış istifadə halıdır. Şirkətlər modellər qarışığından istifadə edir və tapşırıqları statik və ya adaptiv routerlərlə xərc, keyfiyyət və sürətin ən yaxşı nisbətini verən modelə yönləndirir. Yeni açıq və qapalı modellərin buraxılması arasındakı interval həftələrə qədər azalıb, buna görə bir model uzun müddət bütün tapşırıqlar üçün ən yaxşı olaraq qalmır.

İnfrastruktur, məxfilik və dəstək

Baseten-ə görə, platforma 20-dən çox buludda yerləşdirilmiş 90-dan çox klaster üzərində işləyir və yerləşdirmələr eyni vaxtda bir neçə lokasiyada aktivdir: provayder və ya region sıradan çıxdıqda trafik yönləndirilir və iş dayanmır. Şirkət 200-dən çox hesablama provayderi ilə əməkdaşlıq edir və aparıcı açıq modelləri Model APIs-də buraxılış günü yayımlayır.

İnferens ABŞ infrastrukturunda, promptların sıfır saxlanması (ZDR) ilə işləyir. Lazım gələrsə, yerləşdirmə konkret regiona bağlanır və ətraflı autentifikasiya və avtorizasiya mövcuddur. Baseten həmçinin qeyd edir ki, Blaxel artıq onun bir hissəsidir və hər agentə öz sandbox-ını verir, LangChain isə Baseten Loops ilə LangSmith Engine üçün öz modellərini öyrədib.

Açıq modellərə çıxış üçün OpenAI istifadəçiləri Marketplace-in maraq siyahısına qeydiyyatdan keçirlər.