Baseten-ը OpenAI-ի B2B Marketplace-ի առաջին գործընկերների թվում է

Baseten-ը դարձել է OpenAI-ի B2B Marketplace-ում բաց մոդելների ինֆերենսի առաջին մատակարարներից մեկը։ Ընկերության հայտարարությամբ՝ այն OpenAI-ի օգտատերերին բաց մոդելներ է առաջարկում Codex-ի ներսում և Responses API-ի միջոցով։

Ինչ է փոխվում կորպորատիվ հաճախորդի համար

Baseten-ի բլոգում հրապարակված հայտարարության համաձայն՝ կազմակերպությունները կարող են արդեն կնքված OpenAI պարտավորությունները օգտագործել նաև Baseten-ում աշխատող բաց մոդելների համար՝ թե՛ Codex-ում, թե՛ Responses API-ի միջոցով։ Codex և GPT մոդելները կոդի գեներացման ամենահայտնի ընտրություններից են, ուստի աշխատանքի մի մասը բաց մոդելներ տեղափոխելը ընկերության նպատակն է՝ մեկ դոլարի դիմաց ավելի շատ ինտելեկտ։

Բազմամոդել աշխատահոսք

Baseten-ի գնահատմամբ՝ AI-գործակալներով կոդ գրելը ներկայումս AI-ի ամենատարածված կիրառությունն է։ Ընկերությունները օգտագործում են մոդելների խառնուրդ և առաջադրանքները բաշխում ստատիկ կամ ադապտիվ ռոութերներով դեպի այն մոդելը, որը տալիս է ծախսի, որակի և արագության լավագույն հարաբերակցությունը։ Նոր բաց և փակ մոդելների թողարկումների միջև ընդմիջումը կրճատվել է մինչև շաբաթներ, ուստի մեկ մոդելը երկար ժամանակ լավագույնը չի մնում բոլոր առաջադրանքների համար։

Ինֆրակառուցվածք, գաղտնիություն և աջակցություն

Ըստ Baseten-ի՝ հարթակը աշխատում է 20-ից ավելի ամպերում տեղակայված 90-ից ավելի կլաստերների վրա, իսկ տեղակայումները միաժամանակ ակտիվ են մի քանի վայրերում. մատակարարի կամ տարածաշրջանի խափանման դեպքում տրաֆիկը վերաուղղորդվում է, և աշխատանքը չի դադարում։ Ընկերությունը համագործակցում է 200-ից ավելի հաշվողական մատակարարների հետ և առաջատար բաց մոդելները Model APIs-ում հրապարակում է թողարկման օրը։

Ինֆերենսը աշխատում է ԱՄՆ ինֆրակառուցվածքում՝ հուշումների զրոյական պահպանմամբ (ZDR)։ Անհրաժեշտության դեպքում տեղակայումը կապվում է կոնկրետ տարածաշրջանի, և հասանելի են մանրամասն նույնականացում ու ավտորիզացիա։ Baseten-ը նաև նշում է, որ Blaxel-ն արդեն դարձել է դրա մասը և յուրաքանչյուր գործակալի տալիս է իր sandbox-ը, իսկ LangChain-ը Baseten Loops-ով իր մոդելները մարզել է LangSmith Engine-ի համար։

Բաց մոդելներին հասանելիություն ստանալու համար OpenAI-ի օգտատերերը գրանցվում են Marketplace-ի հետաքրքրվածների ցանկում։