Meta opportunistic AI inferens gücünü daha yaxşı reklam tövsiyələrinə çevirdi

İnferens gücü paradoksu

Meta, reklam tövsiyələrini yaxşılaşdırmaq üçün flotunda mövcud olan opportunistic AI inferens gücündən istifadə edən sistem yaradıb. İnferens flotları gücün paradoksuna düşür: qlobal olaraq məhdud ola bilər, gücün əhəmiyyətli hissələri isə yerli səviyyədə opportunistic qalır. Səbəblərə pik təminatı ilə tələbat uyğunsuzluğu, modellərin hazırlanması ilə gücün çatdırılması vaxtının uyğunsuzluğu, regionlərdə resursların bərabərliyinin olmaması və accelerator növünün uyğunsuzluğu daxildir. Meta miqyasında bu müvəqqəti boşluqlar cəmi əhəmiyyətli güc təşkil edir və təhlükəsiz istifadə edildikdə daha yaxşı reklam tövsiyələri yaradır.

Elastikliyin iki məhdudlaşdırıcısı

Sistem iki bir-birini tamamlayan məhdudlaşdırıcıdan istifadə edir. Rank More Ads (RMA) reytinq mərhələləri tərəfindən qiymətləndirilən namizədlərin sayını opportunistic güc mövcud olduqda tənzimləyir və istifadəçi üçün uyğun reklamların tapılma ehtimalını artırır. RMA həm CPU, həm də acceleratorun artıq resurslarına ehtiyac duyur. Serve Better Models (SBM) isə accelerator gücünün dəyişməsinə əsaslanaraq daha güclü modelə yönləndirilən tələblərin hissəsini tənzimləyir; bu da reytinq mərhələlərinə daxil olan reklamların sayını dəyişməz saxlayır ki, CPU tələbi sabit qalsın. Buna görə SBM yalnız RMA-nın istifadə edə bilmədiyi acceleratorun artıq resursundan istifadə edə bilər. Model router komponenti tələblərin dəyər siqnallarından istifadə edərək daha güclü modeldən ən çox fayda gətirəcək tələblərə prioritet verir.

Baza trafiyinin qorunması

Fiziki və loqik izolyasiya baza xidmətləri üçün ayrılmış gücü qoruyur. SBM fiziki izolyasiyadan istifadə edir: baza və daha güclü modellər ayrı routing hədəflərindən, baza üçün ayrılmış replikalar və daha güclü model üçün opportunistic replikalar istifadə edir. RMA loqik izolyasiyadan istifadə edir: sistem opportunistic replikaların neçə əlavə namizəd reytinq işini yerinə yetirə biləcəyini hesablayır və global büdcə təyin edir. RMA, müşahidə edilmiş gecikməyə əsaslanan mərkəzi PID kontrolleri və müştəri tərəf icrası ilə geri bildirim dövründən istifadə edir. SBM isə uyğun dövrü istifadə edir: mərkəzi kontroller hədəf örtüyünü təyin edir, müştəri tərəf routeri isə dəyərləri nəzərə alaraq explore-and-exploit prosesi ilə seçim edir. Çoxqatlı dəyərə həssas yüklənməni azaltma həm serverlərdə, həm müştərilərdə millisaniyələrə reaksiya verir, güc ani dəyişdikdə.

Növbəti addımlar

Meta, RMA və SBM işinin diapazonunu genişləndirərək və əvvəlcədən hesablama elastikliyi kimi yeni məhdudlaşdırıcılar hazırlayaraq yüklənmə elastikliyini artırmağı planlaşdırır; əvvəlcədən hesablama elastikliyi işi tələb vaxtından əvvəl başa çatdırır. Şirkət həmçinin modellərin portativliyini və regionlararası inferensi genişləndirərək istifadə edilə biləcək güc yığmasını artırır və elastiklik məhdudlaşdırıcıları arasında gücün paylanmasını avtomatik tənzimləyən, istifadəçilərə və reklam yerləşdiricilərə gəlir əsasında optimizasiyaya əsaslanan sistem yaradır.

Mənbələr: Meta Engineering