Meta-ն պահեստային GPU-ներով և ստուգման կետերով է պահում AI-ի ուսուցումը Prometheus-ում

Պահեստայինները կլանում են խափանումները

Meta-ն ասել է, որ Նյու Օլբանիում (Օհայո) գտնվող իր Prometheus սուպերկլաստերի GPU-ների 11 տոկոսից ավելին մահացած է կամ անգործ՝ սպասելով խափանված միավորի փոխարինմանը։ Պահեստային պուլը համակարգի նախագծի մաս է, որը, ըստ Meta-ի, ի վերջո կհասնի մոտ մեկ գիգավատ հզորության և շուրջ մեկ միլիոն արագացուցիչի՝ օգտագործելով Nvidia Grace Blackwell դարակային համակարգեր, իսկ ավելի ուշ՝ Vera Rubin համակարգեր։

Ընթացիկ կլաստերը օգտագործում է GB200 և GB300 համակարգեր՝ յուրաքանչյուր NVLink դոմենում 72 GPU-ով, սակայն ցանկացած պահի օգտագործվում է միայն 64-ը։ Մնացած ութն աշխատում են որպես տաք պահեստ։ Meta-ն ասել է, որ դա կարևոր է, քանի որ հակառակ դեպքում մեկ խափանված GPU-ն կարող էր շարքից հանել ամբողջ դարակը և ընդհատել ուսուցման գործարկումը։ Պահեստային միավորի շնորհիվ փոխարինումը կարող է տեղի ունենալ, թեև խափանումը դեռևս հանգեցնում է ավելի կարճ ընդհատման։

Երբ Prometheus-ը սկսեց իր առաջին փուլը, Meta-ն ասել է, որ յուրաքանչյուր 8,000 GPU-ի հաշվով օրական մոտ 1,000 ընդհատում էր գրանցվում։ Ընդհատումը նշանակում է, որ ինչ-որ բան խափանվել, ձախողվել կամ ժամկետանց է եղել, և ուսուցման գործարկումը վերադարձել է վերջին հայտնի լավ ստուգման կետին։ Meta-ն ասել է, որ մոտ մեկ տարի անց ընդհատումները կրճատել է 99 տոկոսով՝ օրական մոտ 11-ի յուրաքանչյուր 8,000 GPU-ի հաշվով։

Ստուգման կետերը սահմանափակում են վերադարձը

Meta-ն նաև նկարագրել է, թե ինչպես է սահմանափակում խափանումները տվյալների զուգահեռություն օգտագործող խոշոր ուսուցման աշխատանքներում, որտեղ մոդելի մի քանի պատճեն տեղակայված է կլաստերում։ Եթե խափանումը հնարավոր է մեկուսացնել տվյալների զուգահեռ մեկ մոդելի պատճենի վրա, ապա այդ պատճենը դուրս է գալիս աշխատանքից, մինչ կլաստերի մնացած մասը կրկնում է քայլը և շարունակում ուսուցումը։ Վնասված հատվածն այնուհետև վերսկսվում է պահեստային սերվերներում և նորից համաժամացվում՝ ամբողջական կանգը վերածելով ընդհանուր արտադրողականության ժամանակավոր նվազման։

Եթե խափանումը դուրս է գալիս տվյալների զուգահեռության տիրույթից, Meta-ն ապավինում է ստուգման կետերին։ Ընկերությունն ասել է, որ իր բաշխված ստուգման կետերի ճարտարապետությունը ասինխրոն կերպով պահպանում է մոդելի վիճակը, ներառյալ գրադիենտները և օպտիմիզատորի տվյալները, պահեստավորման մի քանի մակարդակներում։ Սա թույլ է տալիս գործարկումը վերսկսել պահպանված վիճակից, այլ ոչ թե սկսել զրոյից։ Meta-ն այդ աշխատանքը ներկայացրել է որպես անհրաժեշտություն՝ Muse Spark-ի և ավելի նոր Muse Wonder-ի նման մոդելները գրաֆիկից դուրս չմնալու համար։

Կապերն ու էներգիան ձևավորում են մասշտաբը

Մարտահրավերներից մեկն այն էր, որ NVLink ցանցերը պետք է վարվեին որպես մեկ խոշոր արագացուցիչ։ Meta-ն ասել է, որ ավելի վաղ H100 և H200 համակարգերում յուրաքանչյուր NVLink դոմենում կար ընդամենը ութ GPU, մինչդեռ Nvidia Blackwell-ը դա ընդլայնեց ինը անգամ։ 600,000-ից ավելի NVLink կապերի դեպքում նույնիսկ ազդանշանի աննշան թուլացումը հանգեցնում էր վերականգնման հաճախակի ցիկլերի։ Meta-ն ասել է, որ օգտագործել է շարունակական հեռաչափություն և L11 դիագնոստիկական այրման թեստեր՝ թույլ կապերը մեկուսացնելու համար մինչև համակարգերի արտադրության մեջ մտնելը։

Էներգիան ևս մեկ խնդիր էր։ Meta-ն ասել է, որ ուսուցման գործարկման համար տասնյակ հազարավոր GPU-ների միացումն ու անջատումը կարող է ստեղծել էներգիայի մեծ անցումային ալիքներ, որոնք կարող են գերբեռնել էներգամատակարարման սարքավորումները։ Ընկերությունն ասել է, որ կլաստերի կայունությանը և հուսալիությանը առաջնահերթություն տալով՝ հասել է 85 տոկոսից ավելի goodput-ի նախնական ուսուցման համար և 90 տոկոսից ավելիի՝ Muse Wonder-ի վրա ամրապնդող ուսուցման համար։ Առաջիկայում Meta-ն ցանկանում է ընդհատումների հաճախականությունը իջեցնել օրական երկուսի յուրաքանչյուր 8,000 GPU-ի հաշվով, այսինքն՝ մոտ 100,000 GPU-ժամ միջին ժամանակ ընդհատումների միջև։

Աղբյուրներ: The Register