Prometheus-ի ներսում՝ Meta-ի գիգավատանոց AI սուպերկլաստերը Նյու Ալբանիում

Meta-ն ավարտել է Նյու Ալբանիում (Օհայո) գտնվող իր գիգավատանոց AI սուպերկլաստերի՝ Prometheus-ի առաջին փուլը: Օբյեկտը երկու տարի առաջ սովորական վեբ երթևեկության տվյալների կենտրոն էր, իսկ այժմ այնտեղ մարզում են առաջատար հիմնական մոդելներ, այդ թվում՝ Muse ընտանիքը:

Մեկ միլիոն GPU-ի մասշտաբ

Prometheus-ը բաղկացած է հարյուրավոր հազարավոր GPU-ներից մի քանի միմյանց կապված շենքերում, որոնք միացված են մղոններով օպտիկական մանրաթելերով՝ որպես մեկ մեքենա աշխատելու համար: Ամբողջական մասշտաբով այն կներառի մոտավորապես մեկ միլիոն բաշխված GPU: Համակարգը ներկայում օգտագործում է NVIDIA-ի երկու պլատֆորմ, իսկ երրորդը՝ Vera Rubin NVL72-ի հիման վրա, շուտով կմիանա: GB200 NVL72-ի հիման վրա կառուցված Catalina-ն ապահովում է 72 GPU, 13,4 TB HBM3e և FP8 հաշվարկի 720 պիկ PFLOPS, իսկ GB300-ի հիման վրա կառուցված Clemente-ն յուրաքանչյուր GPU-ի հիշողությունը հասցնում է 288 GB-ի և գերազանցում է FP4 հաշվարկի մեկ exaFLOP պիկը:

Ցանց և հուսալիություն

Տվյալների կենտրոնի ստանդարտ ցանցից բացի, առանձին Ethernet Back-End ցանցը ապահովում է ուղղակի կապ GPU-ների միջև ինչպես շենքերի ներսում, այնպես էլ դրանց միջև: Շենքերի մակարդակի ցանցերը միացնում են մինչև 20,736 GPU, իսկ Backend Aggregation ցանցը ձգվում է 2 կմ-ից մինչև 100 կմ և ավելի՝ ապահովելով մի քանի Pbps տարածաշրջանային թողունակություն: Meta-ն հաղորդում է, որ նախնական մարզման աշխատանքներում օգտակար թողունակությունը (goodput) գերազանցում է 85%-ը, իսկ ամրապնդող ուսուցման աշխատանքներում՝ 90%-ը: Միկրոծրագրային ուղղումները խանգարումների միջև միջին ժամանակը մոտավորապես 47,000-ից հասցրել են 54,000 GPU-ժամից ավելի:

Կայունության ճարտարագիտություն

2025 թվականի կեսերին խանգարումների թիվը օրական 8K GPU-ի հաշվով մոտենում էր 1,000-ի, իսկ մեկ տարվա միջգործառական աշխատանքը այդ ցուցանիշը նվազեցրեց 99%-ով: Նպատակային ուղղումները վերաբերում էին NVLink-ի ազդանշանի ամբողջականությանը ավելի քան 600,000 միացումներում, HBM-ի և LPDDR-ի հիշողության խափանումներին, անջատիչների վիճակին և հետին ցանցի իրադարձություններին: Յուրաքանչյուր 72-GPU NVL72 տիրույթ օգտագործում է 64-GPU հատված՝ ութ պահեստային GPU-ով ռեքի ներսում, իսկ խափանումներից վերականգնումը համատեղում է զուգահեռությանը հարմարված խափանումների դիմացկունությունը ասինխրոն բաշխված ստուգման կետերի հետ: Էներգիայի 30-40% թռիչքները կառավարվում են Dynamo Dimmer-ի սահմանափակման շրջանակով, որն աջակցվում է ռեքային մարտկոցներով և օբյեկտի էներգակուտակիչներով, իսկ օդով աջակցվող և օբյեկտային հեղուկ սառեցման խառնուրդը սպասարկում է տարասեռ սարքավորումների ամբողջությունը:

Աղբյուրներ՝ Engineering at Meta