როგორ აჩქარებენ NVIDIA-ს GPU-ები OpenAI-ს GPT-6 Astra Ultrafast-ს

NVIDIA-ს ბლოგის მიხედვით, GPT-6 Astra Ultrafast Blackwell GPU-ებზე მუშაობს და OpenAI-ს API-ში უკვე ხელმისაწვდომია, ხოლო ფუნქციაზე წვდომა ChatGPT Work-ისა და Codex-ის უფლებამოსილ მომხმარებლებსაც აქვთ.

Ultrafast ტოკენებს Astra Standard-ის რეჟიმზე 8-ჯერამდე უფრო სწრაფად აწარმოებს. აჩქარება ინფერენსის ოპტიმიზაციებს ეფუძნება, რომლებიც OpenAI-ს მოდელებმა NVIDIA-ს Blackwell-ის არქიტექტურის შესაძლებლობების გამოყენებით შექმნეს.

რას იძლევა აჩქარება აგენტურ ციკლებში

ბლოგის მიხედვით, ტოკენების უფრო სწრაფი გენერაცია კოდის აგენტების edit-test-debug ციკლს ამოკლებს, ხელსაწყოების გამოძახებებს შორის პასუხის გენერაციაზე დახარჯულ დროს ამცირებს და ინტერაქტიული აპლიკაციები უფრო სწრაფად რეაგირებენ.

უფრო სწრაფ პასუხს განსაკუთრებული მნიშვნელობა მაშინ აქვს, როცა ის სამუშაო ნაკადში მეორდება: აგენტი კოდს წერს, ხელსაწყოს იყენებს, შედეგს ამოწმებს და წყვეტს, რა გააკეთოს შემდეგ. სწორედ ასეთ დროზე მგრძნობიარე ციკლებზეა გათვლილი Ultrafast, NVIDIA-ს AI ინფრასტრუქტურა კი OpenAI-ს ეხმარება, დეველოპერებს საჭირო დროს მეტად გამოსადეგი მოდელის პასუხები მიაწოდოს.

„NVIDIA-ს სერიოზული ინვესტიცია ინსტრუმენტებსა და დოკუმენტაციაში იმის საშუალებას გვაძლევს, ჩვენი მოდელები Blackwell-ისა და Rubin-ის GPU-ებზე პროგრამირებაში განსაკუთრებით კარგად მუშაობდეს“, თქვა OpenAI-ის ინფერენსის ხელმძღვანელმა Philippe Tillet-მა. „Astra-ს ამ ცოდნის მაღალწარმადობის ბირთვებად გარდაქმნა შეუძლია, რაც NVIDIA-ს აპარატურას ლატენტურობის, გამტარუნარიანობისა და ხარჯის მთელ დიაპაზონზე მიმზიდველს ხდის. Astra Ultrafast-ით ეს ნიშნავს, რომ მოდელი უფრო სწრაფად პასუხობს, როცა აგენტები კოდს წერენ, ხელსაწყოებს იყენებენ და რთულ ამოცანებზე მუშაობენ.“

მუშაობა განლაგების შემდეგაც გრძელდება

NVIDIA-ს ბლოგის ცნობით, წარმადობის ზრდა მოდელის განლაგებაზე არ ჩერდება: OpenAI საკუთარ მოდელებს NVIDIA-ს GPU-ებზე მომუშავე ინფერენსის პროგრამული უზრუნველყოფის დასახვეწად იყენებს, პლატფორმის პროგრამირებადობა კი გაუმჯობესებების ტესტირებისა და დანერგვის საშუალებას იძლევა. ეს უწყვეტი სამუშაო დროთა განმავლობაში პასუხებს აჩქარებს და განლაგებულ ინფრასტრუქტურას უფრო პროდუქტიულს ხდის.

„NVIDIA-სთან მუშაობა გვეხმარება, AI უფრო სწრაფი და გამოსადეგი გავხადოთ“, თქვა OpenAI-ის კომპიუტინგის ტექნოლოგიების დირექტორმა Uday Ruddarraju-მ. „ინფერენსის ოპტიმიზაციისთვის საკუთარი შიდა მოდელები გამოვიყენეთ, NVIDIA-ს პროგრამირებადობამ კი Astra Ultrafast-ის უკან მდგარი აჩქარების მიწოდებაში დაგვეხმარა.“

ერთი ინფრასტრუქტურა სხვადასხვა დატვირთვისთვის

NVIDIA-ს ცნობით, პროგრამირებადი პლატფორმა დეველოპერებსა და მკვლევრებს საშუალებას აძლევს, მოდელების განვითარებასთან ერთად ინფრასტრუქტურა სწავლებისთვის, ინფერენსისთვის და reinforcement learning-ისთვის ხელახლა გამოიყენონ. ეს მოქნილობა გუნდებს ეხმარება, გამოთვლითი რესურსები მოთხოვნის ცვლილებასთან ერთად გადაანაწილონ, გამოყენება გაზარდონ და თითოეული დატვირთვისთვის ზედმეტი სიმძლავრის რეზერვის შექმნა თავიდან აიცილონ.

დეველოპერებს GPT-6 Astra Ultrafast-ის გამოყენება API-ის მეშვეობით უკვე შეუძლიათ. წვდომის, ფასებისა და დანერგვის დეტალები OpenAI-ს Ultrafast გზამკვლევშია მოცემული.