NVIDIA-nın GPU-ları OpenAI-nin GPT-6 Astra Ultrafastını necə sürətləndirir

NVIDIA-nın bloguna əsasən, GPT-6 Astra Ultrafast Blackwell GPU-larında işləyir və OpenAI-nin API-sində artıq əlçatandır, funksiyaya isə ChatGPT Work və Codex-ə icazəsi olan istifadəçilər də malikdir.

Ultrafast tokenləri Astra Standard rejimindən 8 qədər daha sürətli yaradır. Sürətlənmə inferens optimizasyonlarına əsaslanır ki, bunlar da OpenAI-nin modelləri NVIDIA-nın Blackwell arxitekturasının imkanlarından istifadə etməklə yaratmışdır.

Sürətlənmə agentik dövrlərə nə verir

Bloga əsasən, tokenlərin daha sürətli yaradılması kod agentlərinin edit-test-debug dövrünü qısaltdır, alətlərin çağırışları arasında cavab yaradılmasına sərf olunan vaxtı azaldır və interaktiv tətbiqlər daha sürətli reaksiya verir.

Daha sürətli cavab xüsusi əhəmiyyətə malikdir ki, o, iş axınında təkrarlanır: agent kod yazır, alətdən istifadə edir, nəticəni yoxlayır və növbəti addımı qərarlaşdırır. Ultrafast dərhal belə həssas dövrlərə yönəlmişdir, NVIDIA-nın AI infrastrukturu isə OpenAI-yə inkişaf etdiricilərə lazım olan vaxtda daha faydalı model cavabları təmin etməyə kömək edir.

„NVIDIA-nın alətlərə və sənədləşməyə ciddi investisiyası modellərimizin Blackwell və Rubin GPU-larında proqramlaşdırma baxımından xüsusi yaxşı işləməsini təmin edir", dedi OpenAI-nin inferens rəhbəri Philippe Tillet. „Astra-nın bu biliklərin yüksək məhsuldarlıqlı nüvələrə çevrilməsi NVIDIA-nın aparat təminatını gecikmə, ötürücülük qabiliyyəti və xərc baxımından bütün diapazonda cəlbedici edir. Astra Ultrafast ilə bu o deməkdir ki, agentlər kod yazanda, alətlərdən istifadə edəndə və mürəkkəb tapşırıqlar üzərində işləyəndə model daha sürətli cavab verir."

İş yerləşmədən sonra davam edir

NVIDIA-nın bloguna görə, məhsuldarlığın artması modelin yerləşməsində bitmir: OpenAI öz modellərini NVIDIA-nın GPU-larında işləyən inferens proqram təminatını təkmilləşdirmək üçün istifadə edir, platformanın proqramlaşdırıla bilənliyi isə təkmilləşdirmələrin test edilməsinə və yerləşdirilməsinə imkan verir. Bu davamlı iş vaxt ərzində cavabları sürətləndirir və yerləşdirilmiş infrastrukturanı daha məhsuldar edir.

„NVIDIA ilə işləmək AI-ni daha sürətli və faydalı etməyə kömək edir", dedi OpenAI-nin kompütexnologiyaları direktoru Uday Ruddarraju. „Inferens optimizasiyası üçün öz daxili modellərimizdən istifadə etdik, NVIDIA-nın proqramlaşdırıla bilənliyi isə Astra Ultrafast arxasında dayanan sürətlənmənin təmin edilməsinə kömək etdi."

Müxtəlif yükləmələr üçün tək infrastruktur

NVIDIA-nın bildirdiyi kimi, proqramlaşdırıla bilər platforma inkişaf etdiricilərə və araşdırıcılara modellərin inkişafı ilə birlikdə infrastrukturanı öyrənmə, inferens və reinforcement learning üçün yenidən istifadə etməyə imkan verir. Bu çeviklik komandalara hesablama resurslarını tələbatın dəyişməsi ilə birlikdə yenidən bölməyə, istifadəni artırmağa və hər yükləmə üçün artıq güc ehtiyatı yaramaqdan qaçınmağa kömək edir.

İnkişaf etdiricilər GPT-6 Astra Ultrafast-dan API vasitəsilə artıq istifadə edə bilərlər. Giriş, qiymətlər və yerləşdirmə təfərrüatları OpenAI-nin Ultrafast bələdçisində verilib.