Baseten OpenAI-ის B2B Marketplace-ის პირველ პარტნიორებს შორისაა

Baseten OpenAI-ის B2B Marketplace-ში ღია მოდელების ინფერენსის ერთ-ერთი პირველი მომწოდებელი გახდა. კომპანიის განცხადებით, OpenAI-ის მომხმარებლებს ღია მოდელები Codex-ის შიგნით და Responses API-ის საშუალებით სთავაზობს.

რა იცვლება კორპორატიული მომხმარებლისთვის

Baseten-ის ბლოგზე გამოქვეყნებული განცხადების მიხედვით, ორგანიზაციებს უკვე გაფორმებული OpenAI-ის ვალდებულება Baseten-ზე გაშვებულ ღია მოდელებზეც შეუძლიათ გამოიყენონ, როგორც Codex-ში, ისე Responses API-ის მეშვეობით. Codex და GPT მოდელები კოდის გენერაციისთვის ერთ-ერთი ყველაზე პოპულარული არჩევანია, ამიტომ სამუშაოს ნაწილის ღია მოდელებზე გადატანა კომპანიის მიზანია: ერთ დოლარზე მეტი ინტელექტი.

მრავალმოდელიანი სამუშაო ნაკადი

Baseten-ის შეფასებით, AI-აგენტებით კოდის წერა ამჟამად AI-ის ყველაზე გავრცელებული გამოყენების შემთხვევაა. კომპანიები მოდელების ნარევს იყენებენ და ამოცანებს სტატიკური ან ადაპტური როუტერებით გადაანაწილებენ იმ მოდელზე, რომელიც ხარჯის, ხარისხისა და სიჩქარის საუკეთესო შეფარდებას იძლევა. ახალი ღია და დახურული მოდელების გამოსვლას შორის ინტერვალი კვირებამდე შემცირდა, ამიტომ ერთი მოდელი დიდხანს არ რჩება საუკეთესო ყველა ამოცანისთვის.

ინფრასტრუქტურა, კონფიდენციალურობა და მხარდაჭერა

Baseten-ის ცნობით, პლატფორმა 20-ზე მეტ ღრუბელზე განლაგებულ 90-ზე მეტ კლასტერზე მუშაობს, განლაგებები კი ერთდროულად რამდენიმე ლოკაციაზე აქტიურია: პროვაიდერის ან რეგიონის გათიშვისას ტრაფიკი გადამისამართდება და სამუშაო არ ჩერდება. კომპანია 200-ზე მეტ გამოთვლით პროვაიდერთან თანამშრომლობს და მთავარ ღია მოდელებს Model APIs-ზე გამოსვლის დღესვე აქვეყნებს.

ინფერენსი აშშ-ის ინფრასტრუქტურაზე მუშაობს, პრომპტების ნულოვანი შენახვით (ZDR). საჭიროების შემთხვევაში განლაგება კონკრეტულ რეგიონზე მიიბმება და ხელმისაწვდომია დეტალური ავთენტიფიკაცია და ავტორიზაცია. Baseten ასევე ახსენებს, რომ Blaxel უკვე მისი ნაწილია და თითოეულ აგენტს საკუთარ sandbox-ს აძლევს, LangChain-მა კი Baseten Loops-ით LangSmith Engine-ისთვის საკუთარი მოდელები გაწვრთნა.

ღია მოდელებზე წვდომისთვის OpenAI-ის მომხმარებლები Marketplace-ის საინტერესო სიაში რეგისტრაციას გადიან.