Ai2 փոխում է առաջնահերթությունների վրա հիմնված GPU պլանավորողը բյուջեի և արդար բաժանման համակարգով

Արհեստական բանականության Allen Institute (Ai2)-ն GPU կլաստերներում առաջնահերթությունների վրա հիմնված պլանավորողին փոխարինել է GPU ժամանակի բյուջեների, հիերարխիկ արդար բաժանման և ժամանակի բաժանման պայմանագրի վրա հիմնված համակարգով: Հուլիսի վերջից հաստատված փոփոխությունը բարձր ազդեցության հետազոտություններին առաջնահերթություն է տալիս և հազարավոր Nvidia H100, B200 և B300 GPU-ները ամբողջությամբ բեռնված է պահում:

Առաջնահերթություններից բյուջեներ

Ai2-ն կառավարում է 88-ից 1024 GPU կլաստերներ մոտ 150 ներքին հետազոտողների համար, ովքեր զարգացնում են մեծ լեզվական և տեսողության մոդելներ, ռոբոտիկայի կողմից ամրապնդված ուսուցում և գիտական ագենտային կիրառությունների հետագա ուսուցում: GPU ժամանակի պահանջը գերազանցում է առաջարկը երկու-երեք անգամ:

Հին պլանավորողը ապավինվում էր առաջնահերթությունների և ոչ պարտադիր նախապետության վրա: Օգտատերերը ոչ օգտակար բեռնումներով զբաղեցնում էին տեղ դեբագի համար, պլանավորված բեռնումների 100 տոկոսը HIGH առաջնահերթության վրա էր, իսկ մյուս ինժեներները ժամանակ էին ծախսում սպասարկման համակարգում անհրաժեշտ հոսթերի վրա չընդհտվող առաջադրանքների ձեռքով կանգնեցման վրա:

Նոր մոդելը GPU ժամանակը ներդրում է հաշվում: Մենեջերները բյուջեները բաժանում են նախագծերի և հետազոտողների միջև բեռնումների առկայության հետ, ինչը ռազմավարությունը դարձնում է հզորության երաշխավորված մաս: Բոլոր պահանջները պետք է ֆինանսավորվեն բյուջեով, հակառակ դեպքում նախապետությունից պաշտպանված չի լինի, ինչը տեղի զբաղեցումը թանկ է դարձնում:

Արդար բաժանման պլանավորում և ժամանակի բաժանման պայմանագիր

Հիերարխիկ արդար բաժանման պլանավորողը, որի արմատները 2009 թվականի Hadoop Fair Scheduler-ում են և այսօր SLURM-ում և YARN-ում օգտագործվում է, զբաղվածությունը հետևում է շարժական յոթօրյապատուհանում և պլանավորում է պակաս օգտագործված ռեսուրսների բեռնումները ավելի օգտագործվածից բարձր: Ծառը կրկնում է հետազոտական ծրագրի կառուցվածքը, իսկ կշերը մենեջերների բյուջեներն են, ոչ թե ստատիկ կվոտաները:

Պլանավորողը տարբերում է զբաղվածության հաշվեկշիռը, որը գրանցվում է բյուջեից և պաշտպանված է մինիմալ աշխատանքի պատուհանում, ազատ չպատասխանողից, որը անվճար է, բայց նախապետվող: Պայմանագիրը պահանջում է մինիմալ աշխատանքի ժամանակի հայտարարությունը, առավելագույնը 8 ժամ, որի ընթացքում ընդհտումը անհնար է: Հետո երկարատև բեռնումները ավտոմատ կերպով վերադառնում են հերթում, որպեսզի արդար բաժանումը կայունանա և ոչ բավարար հոսթերը ազատվեն ավտոմատ վերանորոգման համար:

Արդյունքներ և բաց մարտահրավերներ

30-օրյա թեստում թիմերը ստացան իրենց պատկանող GPU ժամերի 98 տոկոսը; 15 թիմից 13-ը ստացավ 95 տոկոս կամ ավելի, իսկ վատագույն դեպքը 90 տոկոս էր: Կլաստերի զբաղվածությունը մնաց 98 տոկոսի վրա, մատակարարված GPU ժամանակի 18 տոկոսը ազատ մնաց, որպեսզի սարքավորումները բեռնված լինեն, երբ ֆինանսավորված բեռնումները պատրաստ չէին:

Դեբագի բեռնումների համար p90 հերթում բեռնումը ընկավ 2 ժամից 30 վայրկյան, ինչը գերազանցում է 6 ժամից 5 րոպե մինչև սիմուլյացիոն կանխատեսումը: Ամենամեծ H100 կլաստերում մեդիանան 5 րոպեից 24 վայրկյան էր, p90-ն էլ կրճատվեց 2,8 ժամից 1,8 ժամ: Մարդկային մասնակցության համար անհրաժեշտ վերանորոգումները կրճատվեցին 74 տոկոով:

Ոչ բոլոր կիրառություններն էլ բարելավվեցին: Ինտերակտիվ վերլուծության սեսիաները, որոնք հետազոտողները պահում էին մեկ շաբաթ մինչև, 8-ժամյա պաշտպանված սահմանաչափից հետո դարձան նախապետվող, և օգտատերերը պետք է ձեռքով վերականգնեն փոփոխական վիճակը: Ai2-ն այժմ CPU-ն միայն կլաստեր է զարգացնում ծրագրավորման սեսիաների համար և պլանավորում է վերականգնման սեսիաներ, որպեսզի ընդհտված աշխատանքը շարունակվի այլ տեղ: Թիմը ուսումնասիրում է հզորության ֆրագմենտացիան, որը կարող է բարձրացնել բեռնումը մեծ բեռնումների վրա, և հայտարարում է, որ հաջորդ կետը կիրառության որակն է: bootstrapping-ի, checkpointing-ի և ուսուցման հավելվածների առավելագույնը արդյունավետ գործելը:

Նյութերի աղբյուրներ: Hugging Face Blog