NVIDIA שיחררה את פלטפורמת Run:ai לקוד פתוח במסגרת DSX AI Factory

NVIDIA שיחררה את פלטפורמת NVIDIA Run:ai המלאה כתוכנת קוד פתוח והרחיבה את פלטפורמת NVIDIA DSX AI Factory עם עומסי AI ותזמור GPU כבסיס. באמצעות שחרור זה, משתמשים, מפתחים ושותפי האקוסיסטמה יכולים לגשת ליכולות תזמור ברמת ייצור, מה שיסייע לאקוסיסטמה הרחבה לייצר פתרונות AI Factory שונים בשוק מהר יותר.

ארבעה רכיבים מודולריים

KAI Scheduler מאפשר תזמור Kubernetes עם התחשבות ב-GPU באמצעות gang scheduling, הפצה הוגנה וקביעת מכסות, מודעות לטופולוגיה, שיתוף GPU ותמיכה ב-Dynamic Resource Allocation. NVIDIA שיחררה את KAI Scheduler תחת רישיון Apache 2.0 והעברה אותו ל-CNCF כפרויקט Sandbox, וכל התפתחות התזמור מתבצעת במאגר הקוד הפתוח שהקהילה.

GPU Fractioning Operator מביא פיצול GPU טבעי עבור CUDA ב-Kubernetes ומחליף את היישום הקנייני הקודם ביכולת טבעית זמינה ב-CUDA 13.4. המפעיל כולל מייצא מדדים לפי פודים לצורך שקיפות, ונשאר בלתי תלוי במתזמם, אם כי משתלב עם KAI Scheduler לצורך החלטות מיקום. KAI Resource Management מוסיף שכבה ארגונית עם פרויקטים, מחלקות, סמנטיקת מכסות ומאגרי צמתים עבור אשכולות הטרוגניים. Workload Map מגדיר חוזה אחיד לניהול עומסים, המתאר פודים, רכיבים ותפקידים, כך שפלטפורמות יכולות לתזמר, לפקח ולנהל עומסים מסוגים שונים בלי להדביק ידנית כל custom resource definition.

שילוב באקוסיסטמה

שמונה שותפי אקוסיסטמה של NVIDIA DSX משלבים את פלטפורמת הקוד הפתוח בהצעות שלהם. Crusoe משלב אותו עם Crusoe Managed Kubernetes, Mirantis מרחיבה את k0rdent AI עם הפלטפורמה הזו, ו-Nebius מציעה אותו כהתקנה בלחיצה אחת ב-Nebius AI Cloud. OpenNebula Systems משלבת אותו באמצעות OneKS, Rafay מרחיבה את השילוב שלה לשירות מנוהל לחלוטין, ו-Saturn Cloud משתמשת בו להשקת שירותי inference במיתוג עצמי באמצעות פלטפורמת Token Factory. Spectro Cloud משלבת אותו ב-PaletteAI, ו-vCluster מציעה תבניות מיקום מאומתות מראש שיוצרות סביבה מלאה לכל tenant.

הפלטפורמה המלאה זמינה בארגון GitHub של NVIDIA DSX AI Factory וב-NVIDIA NGC, כ-Community Product, עם תרשים Helm להתקנת החסימה המשולבת. עבור Community Product אין צורך ברישיון בתשלום או בהרשאת תמיכה, אך תמיכת הייצור של NVIDIA אינה כלולה. הצעות מסחריות עדיין זמינות באמצעות NVIDIA Mission Control, NVIDIA AI Enterprise ושוקי ענן נבחרים.

פרויקטי קוד פתוח קשורים

הפלטפורמה משלבת שני פרויקטים קשורים. Model Streamer מפחית עיכובי אתחול קרים באמצעות העברת משקלי מודל ישירות לזיכרון GPU בזרם, ומשולב ב-upstream של vLLM ו-SGLang, עם תיעוד ותמיכה ב-AWS, Google Cloud ו-Microsoft Azure. Grove מציע API של Kubernetes לתזמור עומסי inference מרובי רכיבים, ומספק סילון אוטומטי מודע לטופולוגיה ו-gang scheduling היררכי, והוא חלק מודולרי של NVIDIA Dynamo.

מקורות: Nvidia Developer Blog