בפנים של Prometheus: סופר-הצבר של Meta בקנה מידה של ג'יגוואט בניו אלבני

Meta השלימה את השלב הראשון של Prometheus, סופר-הצבר בקנה מידה של ג'יגוואט שלה באתר מרכז הנתונים בניו אלבני, אוהיו. המתקן, שהיה לפני שנתיים מרכז נתונים קונבנציונלי לתעבורת אינטרנט, מארח כעת אימון של מודלים בסיסיים מתקדמים, כולל משפחת Muse.

קנה מידה של מיליון GPU

Prometheus כולל מאות אלפי GPU במספר בניינים מקושרים, המחוברים באמצעות קילומטרים של סיבים כדי לפעול כמכונה אחת. בקנה מידה מלא הוא יכלול בערך מיליון GPU מבוזרים. המערכת פועלת כעת על שתי פלטפורמות של NVIDIA, עם פלטפורמה שלישית המבוססת על Vera Rubin NVL72 שתגיע בקרוב. ה-Catalina המבוססת על GB200 NVL72 מספקת 72 GPU עם 13.4 TB של HBM3e ו-720 PFLOPS של חישוב FP8 בשיא, בעוד ה-Clemente המבוססת על GB300 מעלה את הזיכרון ל-288 GB ל-GPU וחורגת מאקסהפלופ אחד של חישוב FP4 בשיא.

רשת ואמינות

מעבר לרשת הסטנדרטית של מרכז הנתונים, רשת Ethernet Back-End ייעודית מאפשרת תקשורת ישירה מ-GPU ל-GPU בתוך הבניינים וביניהם. אריגות הרשת ברמת הבניין מחברות עד 20,736 GPU, בעוד רשת ה-Backend Aggregation נמשכת מ-2 km ועד יותר מ-100 km עם מספר Pbps של רוחב פס אזורי. Meta מדווחת על יותר מ-85% goodput בהרצות אימון מוקדם ועל יותר מ-90% בהרצות למידה בחיזוק, כאשר תיקוני קושחה מעלים את הזמן הממוצע בין הפרעות מכ-47,000 ליותר מ-54,000 שעות GPU.

הנדסת יציבות

הפרעות הגיעו לשיא של כ-1,000 אירועים ל-8K GPU ביום באמצע 2025, ושנה של עבודה חוצת-תפקידים הקטינה את השיעור ב-99%. תיקונים ממוקדים טיפלו בייצוב האות של NVLink ביותר מ-600,000 חיבורים, בתקלות זיכרון של HBM ו-LPDDR, בבריאות המתג ובאירועי רשת אחורית. כל תחום NVL72 של 72 GPU מפעיל פלח של 64 GPU עם שמונה חלפים בתוך המדף, והתאוששות מתקלה משלבת סבילות תקלות שמבינה מקביליות עם נקודות ביקורת מבוזרות א-סינכרוניות. תנודות הספק של 30-40% מנוהלות על ידי מסגרת ההגבלה Dynamo Dimmer שנתמכת בסוללות מדף ובאחסון המתקן, ושילוב של קירור נוזלי בעזרת אוויר וקירור נוזלי של המתקן תומך בצי ההטרוגני.

מקורות: Engineering at Meta