כיצד GPU-ים של NVIDIA מאיצים את GPT-6 Astra Ultrafast של OpenAI

לפי הבלוג של NVIDIA, GPT-6 Astra Ultrafast פועל על GPU-ים של Blackwell וכבר זמין ב-API של OpenAI, וגישה לפונקציה נמצאת גם בידי משתמשים עם הרשאות של ChatGPT Work ו-Codex.

Ultrafast מייצר טוקנים עד פי 8 מהר יותר ממצב Astra Standard. ההאצה מבוססת על אופטימיזציות אינפרנס שמודלים של OpenAI יצרו תוך שימוש ביכולות הארכיטקטורה של Blackwell של NVIDIA.

מה ההאצה מציעה במחזורים של סוכנים

לפי הבלוג, יצירת טוקנים מהר יותר מקצרת את מחזור ה-edit-test-debug של סוכני קוד, מפחיתה את הזמן המושקע בין קריאות כלים ליצירת תשובות וגורמת לאפליקציות אינטראקטיביות להגיב מהר יותר.

תשובה מהרה יותר בעלת משמעות מיוחדת כאשר היא חוזרת על עצמה בזרימת עבודה: סוכן כותב קוד, משתמש בכלים, בודק תוצאות ומחליט מה לעשות הלאה. דווקא על מחזורים רגישים לזמן כאלה מכוון Ultrafast, ותשתית ה-AI של NVIDIA מסייעת ל-OpenAI לספק למפתחים תשובות של מודל מועילות בזמן שהן נחוצות.

„השקעה רצינית של NVIDIA בכלים ובתיעוד מאפשרת לנו לוודא שהמודלים שלנו יעבדו בצורה מצוינת בתכנות על GPU-ים של Blackwell ו-Rubin", אמר ראש האינפרנס של OpenAI, Philippe Tillet. „Astra יכול להמיר את הידע הזה לליבות בעלות ביצועים גבוהים, מה שהופך את החומרה של NVIDIA לאטרקטיבית בכל טווח ההשהית, הספק והעלות. עם Astra Ultrafast זה אומר שהמודל מגיב מהר יותר כשסוכנים כותבים קוד, משתמשים בכלים ועובדים על משימות מורכבות."

העבודה נמשכת גם אחרי ההצבה

לפי הבלוג של NVIDIA, גידול הביצועים לא נעצר עם הצבת המודל: OpenAI משתמש במודלים משלה כדי לחדש את התוכנה של אינפרנס המופעל על GPU-ים של NVIDIA, והניתנות לתכנות של הפלטפורמה מאפשרת בדיקות ושיפורים והטמעה. עבודה רציפה זו מאיצה תשובות לאורך זמן והופכת את התשתית המוצבת לפרודוקטיבית יותר.

„עבודה עם NVIDIA עוזרת לנו להפוך AI למהיר ומועיל יותר", אמר דירקטור טכנולוגיות המחשוב של OpenAI, Uday Ruddarraju. „השתמשנו במודלים פנימיים משלנו לאופטימיזציית אינפרנס, והניתנות לתכנות של NVIDIA סייעה לנו לספק את ההאצה שמאחורי Astra Ultrafast."

תשתית אחת למגוון עומסים

לפי NVIDIA, פלטפורמה ניתנת לתכנות מאפשרת למפתחים ולחוקרים לעשות שימוש חוזר בתשתית ללימוד, לאינפרנס ול-reinforcement learning לצד פיתוח מודלים. גמישות זו עוזרת לצוותים לחלק מחדש משאבי חישוב בהתאם לשינויים בביקוש, להגדיל את השימוש ולהימנע מיצירת רזרבת כוח מחשב מיותרת לכל עומס.

מפתחים כבר יכולים להשתמש ב-GPT-6 Astra Ultrafast באמצעות ה-API. פרטי גישה, מחירים והטמעה מפורטים במדריך Ultrafast של OpenAI.