Baseten — серед перших партнерів B2B Marketplace від OpenAI

Baseten став одним із перших постачальників інференсу відкритих моделей у B2B Marketplace від OpenAI. За заявою компанії, вона пропонує відкриті моделі користувачам OpenAI всередині Codex і через Responses API.

Що змінюється для корпоративних клієнтів

Згідно із заявою, опублікованою в блозі Baseten, організації можуть використовувати вже оформлені зобов’язання OpenAI для відкритих моделей, запущених на Baseten, як у Codex, так і через Responses API. Codex і GPT моделі є одним із найпопулярніших виборів для генерації коду, тому перенесення частини роботи на відкриті моделі є метою компанії: більше інтелекту на долар.

Багатомодельний робочий процес

За оцінкою Baseten, написання коду AI-агентами наразі є найпоширенішим випадком використання AI. Компанії використовують суміш моделей і розподіляють завдання за допомогою статичних або адаптивних роутерів на модель, яка дає найкраще співвідношення витрат, якості та швидкості. Інтервал між виходом нових відкритих і закритих моделей скоротився до тижнів, тому одна модель недовго залишається найкращою для всіх завдань.

Інфраструктура, конфіденційність і підтримка

За даними Baseten, платформа працює на понад 90 кластерах, розгорнутих у понад 20 хмарах, а розгортання активні одночасно в кількох локаціях: у разі збою провайдера чи регіону трафік перенаправляється, і робота не зупиняється. Компанія співпрацює з понад 200 обчислювальними провайдерами та публікує провідні відкриті моделі в Model APIs у день випуску.

Інференс працює на інфраструктурі США з нульовим збереженням промптів (ZDR). За потреби розгортання прив’язується до конкретного регіону, а також доступні детальна автентифікація й авторизація. Baseten також згадує, що Blaxel уже є його частиною і дає кожному агенту власний sandbox, а LangChain навчив власні моделі для LangSmith Engine за допомогою Baseten Loops.

Щоб отримати доступ до відкритих моделей, користувачі OpenAI реєструються в списку очікування Marketplace.