Meta-მ უმოქმედო AI ინფერენსის სიმძლავრე უკეთეს სარეკლამო რეკომენდაციებად აქცია

ინფერენსის სიმძლავრის პარადოქსი

Meta-მ შექმნა სისტემა, რომელიც რეკლამის რეკომენდაციებს აუმჯობესებს თავის ფლოტში არსებული უმოქმედო ინფერენსის სიმძლავრის გამოყენებით. ინფერენსის ფლოტები სიმძლავრის პარადოქსს აწყდებიან: შესაძლოა გლობალურად შეზღუდული იყვნენ, მაშინ როცა სიმძლავრის მნიშვნელოვანი ნაწილები ლოკალურად უმოქმედო რჩება. ხშირი მიზეზებია პიკური უზრუნველყოფისა და მოთხოვნის ცვალებადობის შეუსაბამობა, მოდელების შემუშავებისა და სიმძლავრის მიწოდების დროის შეუსაბამობა, რეგიონებში რესურსების თანაფარდობის შეუსაბამობა და აქსელერატორის ტიპის შეუსაბამობა. Meta-ს მასშტაბზე ეს დროებითი კერები ერთობლივად მნიშვნელოვან სიმძლავრეს წარმოადგენს და უსაფრთხოდ გამოყენებისას უკეთეს რეკლამის რეკომენდაციებს ქმნის.

ელასტიურობის ორი ბერკეტი

სისტემა იყენებს ორ ურთიერთშემავსებელ ბერკეტს. Rank More Ads (RMA) არეგულირებს რანჟირების ეტაპების მიერ შეფასებული კანდიდატების რაოდენობას, როცა ოპორტუნისტული სიმძლავრე ხელმისაწვდომია, და ზრდის მომხმარებლისთვის შესაბამისი რეკლამების მოძიების შანსს. RMA საჭიროებს როგორც CPU-ის, ისე აქსელერატორის ჭარბ რესურსს. Serve Better Models (SBM) არეგულირებს უფრო ძლიერ მოდელზე გადამისამართებული მოთხოვნების წილს აქსელერატორის სიმძლავრის ცვლილების მიხედვით, რითაც რანჟირების ეტაპებზე შემავალი რეკლამების რაოდენობას უცვლელად ინარჩუნებს, რათა CPU-ის მოთხოვნა სტაბილური დარჩეს. ამიტომ SBM-ს შეუძლია გამოიყენოს მხოლოდ აქსელერატორის ჭარბი რესურსი, რომელსაც RMA ვერ მოიხმარს. მოდელის როუტერის კომპონენტი იყენებს მოთხოვნის ღირებულების სიგნალებს, რათა პრიორიტეტი მიანიჭოს მოთხოვნებს, რომლებიც, სავარაუდოდ, ყველაზე მეტ სარგებელს მიიღებენ უფრო ძლიერი მოდელისგან.

საბაზისო ტრაფიკის დაცვა

ფიზიკური და ლოგიკური იზოლაცია იცავს საბაზისო მომსახურებისთვის რეზერვირებულ სიმძლავრეს. SBM იყენებს ფიზიკურ იზოლაციას: საბაზისო და უფრო ძლიერი მოდელები ცალკეულ მარშრუტიზაციის სამიზნეებს იყენებენ, საბაზისოსთვის გამოყოფილი რეპლიკებით და უფრო ძლიერი მოდელისთვის ოპორტუნისტული რეპლიკებით. RMA იყენებს ლოგიკურ იზოლაციას: სისტემა ითვლის, რამდენ დამატებით კანდიდატთა რანჟირების სამუშაოს შეუძლიათ შეასრულონ ოპორტუნისტულმა რეპლიკებმა, და ადგენს გლობალურ ბიუჯეტს. RMA იყენებს დახურულ უკუკავშირის ციკლს ცენტრალური PID კონტროლერითა და კლიენტის მხარეს აღსრულებით, რომელიც დაკვირვებულ კუდის დაყოვნებას ეყრდნობა. SBM იყენებს შესაბამის ციკლს, სადაც ცენტრალური კონტროლერი ადგენს სამიზნე დაფარვას, ხოლო კლიენტის მხარეს როუტერი ღირებულების გათვალისწინებით შერჩევას ახორციელებს explore-and-exploit პროცესით. მრავალშრიანი ღირებულების გათვალისწინებით დატვირთვის განტვირთვა, როგორც სერვერებზე, ისე კლიენტებზე, მილიწამებში რეაგირებს, როცა სიმძლავრეს უეცრად იბრუნებენ.

რა იქნება შემდეგ

Meta-მ გეგმავს გაზარდოს დატვირთვის ელასტიურობა RMA-ისა და SBM-ის მუშაობის დიაპაზონის გაფართოებით და ახალი ბერკეტების შემუშავებით, როგორიცაა წინასწარი გამოთვლის ელასტიურობა, რომელიც სამუშაოს მოთხოვნის დრომდე ასრულებს. კომპანია ასევე აფართოებს მოდელების პორტაბელურობასა და რეგიონთაშორის ინფერენსს, რათა გააფართოოს გამოსაყენებელი სიმძლავრის პული, და ქმნის ოპტიმიზაციაზე დაფუძნებულ სისტემას, რომელიც ავტომატურად არეგულირებს სიმძლავრის განაწილებას ელასტიურობის ბერკეტებს შორის, მომხმარებლებისა და რეკლამის განმთავსებლებისთვის სარგებლის მიხედვით.

წყაროები: Meta Engineering