Baseten בין השותפים הראשונים של B2B Marketplace של OpenAI

Baseten הפכה לאחת מהספקיות הראשונות של אינפרנס למודלים פתוחים ב-B2B Marketplace של OpenAI. לפי החברה, היא מציעה מודלים פתוחים למשתמשי OpenAI בתוך Codex ובאמצעות Responses API.

מה משתנה עבור לקוחות ארגוניים

לפי הודעה שפורסמה בבלוג של Baseten, ארגונים יכולים להשתמש בהתחייבויות OpenAI קיימות גם עבור מודלים פתוחים שרצים על Baseten, הן ב-Codex והן דרך Responses API. מודלים של Codex ו-GPT הם אחת הבחירות הפופולריות ביותר ליצירת קוד, ולכן העברת חלק מהעבודה למודלים פתוחים היא מטרת החברה: יותר אינטליגנציה לדולר.

תהליך עבודה רב-מודלי

להערכת Baseten, כתיבת קוד עם סוכני AI היא כיום שימוש הנפוץ ביותר ב-AI. חברות משתמשות בשילוב של מודלים ומחלקות משימות באמצעות ראוטרים סטטיים או אדפטיביים למודל שנותן את היחס הטוב ביותר בין עלות, איכות ומהירות. המרווח בין השקות של מודלים פתוחים וסגורים חדשים הצטמצם לשבועות, ולכן מודל אחד לא נשאר הטוב ביותר לכל המשימות לאורך זמן.

תשתית, פרטיות ותמיכה

לפי Baseten, הפלטפורמה פועלת על יותר מ-90 אשכולות הפרוסים ביותר מ-20 עננים, והפריסות פעילות בו-זמנית בכמה מיקומים: כשספק או אזור נופל, התעבורה מופנית מחדש והעבודה לא נעצרת. החברה משתפת פעולה עם יותר מ-200 ספקי מחשוב ומפרסמת מודלים פתוחים מובילים ב-Model APIs כבר ביום ההשקה.

האינפרנס פועל על תשתית בארה"ב עם אפס שמירת פרומפטים (ZDR). בעת הצורך, הפריסה מוצמדת לאזור מסוים, וזמינים אימות והרשאה מפורטים. Baseten גם מזכירה ש-Blaxel כבר חלק ממנה ומעניקה לכל סוכן sandbox משלו, בעוד LangChain אימנה מודלים משלה עבור LangSmith Engine עם Baseten Loops.

כדי לקבל גישה למודלים פתוחים, משתמשי OpenAI נרשמים לרשימת ההמתנה של Marketplace.