Meta უქმად მდგარ სარეზერვო GPU-ებსა და checkpointing-ს იყენებს Prometheus-ზე AI-ს წვრთნის შესანარჩუნებლად

სარეზერვო ერთეულები ხარვეზებს ანეიტრალებენ

Meta-მ თქვა, რომ მისი Prometheus-ის სუპერკლასტერის, რომელიც ნიუ-ოლბენიში, ოჰაიოში მდებარეობს, GPU-ების 11%-ზე მეტი გაუმართავია ან უქმად დგას სარეზერვოდ, რათა გაფუჭებული ერთეული ჩაანაცვლოს. სარეზერვო პული სისტემის დიზაინის ნაწილია; Meta-ს თქმით, ის საბოლოოდ დაახლოებით ერთი გიგავატის სიმძლავრეს და დაახლოებით მილიონ ამაჩქარებელს მიაღწევს და გამოიყენებს Nvidia-ს Grace Blackwell-ის რაკებზე დაფუძნებულ სისტემებს, მოგვიანებით კი Vera Rubin-ის სისტემებს.

ამჟამინდელი კლასტერი იყენებს GB200 და GB300 სისტემებს, რომელთა თითოეულ NVLink-ის დომენში 72 GPU-ია, თუმცა ნებისმიერ მომენტში მხოლოდ 64 გამოიყენება. დანარჩენი რვა ცხელ სარეზერვოდ გამოიყენება. Meta-ს თქმით, ეს მნიშვნელოვანია, რადგან ერთი გაფუჭებული GPU სხვა შემთხვევაში მთელ რაკს გამორთავდა და ტრენინგის გაშვებას შეაწყვეტდა. სარეზერვოს არსებობისას ჩანაცვლება შესაძლებელია, თუმცა ხარვეზი მაინც იწვევს უფრო ხანმოკლე შეფერხებას.

როდესაც Prometheus-მა პირველი ფაზა დაიწყო, Meta-ს თქმით, ყოველ 8 000 GPU-ზე დღეში დაახლოებით 1 000 შეფერხება ფიქსირდებოდა. შეფერხება ნიშნავს, რომ რაღაც ჩაიშალა, გაფუჭდა ან დროში არ ჩაეტია და ტრენინგის გაშვება ბოლო ცნობილ სამუშაო checkpoint-ზე დაბრუნდა. Meta-ს თქმით, დაახლოებით ერთი წლის შემდეგ მან შეფერხებები 99%-ით შეამცირა, ყოველ 8 000 GPU-ზე დღეში დაახლოებით 11 შეფერხებამდე.

Checkpointing უკან დაბრუნებას ზღუდავს

Meta-მ ასევე აღწერა, როგორ აკავებს ხარვეზებს მონაცემთა პარალელიზმზე დაფუძნებულ მასშტაბურ ტრენინგის სამუშაოებში, სადაც მოდელის რამდენიმე ასლი კლასტერშია განთავსებული. თუ ხარვეზის იზოლირება ერთ მონაცემთა პარალელიზმის მოდელის რეპლიკაზე შესაძლებელია, ეს რეპლიკა გამოითიშება, დანარჩენი კლასტერი კი ნაბიჯს იმეორებს და ტრენინგს აგრძელებს. ამის შემდეგ დაზიანებული ნაწილი სარეზერვო ჰოსტებზე ხელახლა ეშვება და სინქრონიზდება, რითაც შესაძლო სრული გაჩერება საერთო გამტარუნარიანობის დროებით შემცირებად იქცევა.

თუ ხარვეზი მონაცემთა პარალელიზმის დომენს სცდება, Meta checkpointing-ს ეყრდნობა. კომპანიის თქმით, მისი განაწილებული checkpointing არქიტექტურა მოდელის მდგომარეობას, მათ შორის გრადიენტებსა და ოპტიმიზატორის მონაცემებს, ასინქრონულად ინახავს შენახვის რამდენიმე დონეზე. ეს საშუალებას იძლევა, გაშვება შენახული მდგომარეობიდან გაგრძელდეს და თავიდან არ დაიწყოს. Meta ამ სამუშაოს აუცილებლად მიიჩნევს, რათა Muse Spark-ისა და უფრო ახალი Muse Wonder-ის მსგავსი მოდელების ტრენინგი გეგმისამებრ წარიმართოს.

კავშირები და სიმძლავრე მასშტაბს განსაზღვრავენ

ერთი გამოწვევა იყო ის, რომ NVLink-ის ქსელური ინფრასტრუქტურა ერთი დიდი ამაჩქარებლის მსგავსად მოქცეულიყო. Meta-ს თქმით, ადრინდელ H100 და H200 სისტემებში თითო NVLink-ის დომენზე რვა GPU მოდიოდა, Nvidia-ს Blackwell-მა კი ეს ცხრაჯერ გაზარდა. 600 000-ზე მეტი NVLink-ის კავშირის პირობებში სიგნალის უმნიშვნელო დაქვეითებაც კი ხშირ აღდგენის ციკლებს იწვევდა. Meta-ს თქმით, ის იყენებდა უწყვეტ ტელემეტრიასა და L11 დიაგნოსტიკური გამოწვის ტესტებს, რათა სუსტი კავშირები სისტემების ექსპლუატაციაში შესვლამდე გამოეყო.

ენერგია კიდევ ერთი პრობლემა იყო. Meta-ს თქმით, ტრენინგის გაშვებისას ათიათასობით GPU-ის დატვირთვის მკვეთრი ზრდა და შემცირება დიდ ენერგეტიკულ ნახტომებს იწვევს, რაც ელექტრომომარაგების აღჭურვილობის გადატვირთვის რისკს ქმნის. კომპანიის თქმით, კლასტერის სტაბილურობასა და საიმედოობაზე პრიორიტეტის მინიჭებით მან Muse Wonder-ზე წინასწარი ტრენინგის დროს 85%-ზე მეტი goodput-ს, ხოლო გაძლიერებითი სწავლის დროს 90%-ზე მეტი goodput-ს მიაღწია. მომავალში Meta-ს სურს შეფერხებების სიხშირე ყოველ 8 000 GPU-ზე დღეში ორამდე შეამციროს, ანუ შეფერხებებს შორის საშუალო დრო დაახლოებით 100 000 GPU-საათამდე გაზარდოს.

წყაროები: The Register