Meta перетворює невикористану потужність AI-інференсу на кращі рекламні рекомендації

Парадокс потужності інференсу

Meta створила систему, яка покращує рекламні рекомендації, використовуючи невикористану потужність інференсу у своєму флоті. Флоти інференсу страждають від парадоксу потужності: вони можуть бути глобально обмежені, тоді як значні частини потужності локально залишаються невикористані. Поширеними причинами є невідповідність у забезпеченні пікових навантажень та змінах попиту, невідповідність у часі обробки моделей та постачанні потужності, невідповідність у пропорціях ресурсів у регіонах та невідповідність типів акселераторів. На масштабі Meta ці тимчасові прогалини спільно становлять значну потужність і, коли їх безпечно використовують, створюють кращі рекламні рекомендації.

Два бакети еластичності

Система використовує два взаємодоповнюючі бакети. Rank More Ads (RMA) регулює кількість оцінених на етапі ранжування кандидатів, коли доступна опортуністична потужність, і збільшує шанс знайти для користувача відповідні реклами. RMA вимагає як ресурси CPU, так і ресурси акселератора. Serve Better Models (SBM) регулює частку запитів, спрямованих на потужнішу модель, залежно від змін потужності акселератора, при цьому залишаючи незмінною кількість реклам, що надходять на етапи ранжування, щоб запит до CPU залишався стабільним. Тому SBM може використовувати лише вільні ресурси акселератора, які RMA не може задіяти. Компонент маршрутизатора моделей використовує сигнали вартості запиту, щоб пріоритизувати запити, які, як очікується, отримають найбільшу вигоду від потужнішої моделі.

Захист базового трафіку

Фізична та логічна ізоляція захищає потужність, зарезервовану для базових сервісів. SBM використовує фізичну ізоляцію: базова та потужніша моделі використовують окремі цілі маршрутизації, з виділеними репліками для базової та опортуністичними репліками для потужнішої моделі. RMA використовує логічну ізоляцію: система розраховує, скільки додаткової роботи з ранжування кандидатів можуть виконати опортуністичні репліки, і встановлює глобальний бюджет. RMA застосовує закритий цикл зворотного зв’язку з центральним PID-контролером та клієнтською частиною, яка оцінює затримку спостережуваної черги. SBM використовує аналогічний цикл, де центральний контролер встановлює ціле навантаження, а клієнтський маршрутизатор здійснює вибір із урахуванням вартості за процесом explore-and-exploit. Багаторівневе розподілу навантаження з урахуванням вартості, як на серверах, так і на клієнтах, реагує за мілісекунди, коли потужність повертається несподівано.

Що далі

Meta планує збільшити еластичність навантаження, розширюючи діапазон роботи RMA та SBM та створюючи нові бакети, такі як еластичність попереднього обчислення, яка виконується до моменту запиту робочої навантаження. Компанія також розширює переносимість моделей та міжрегіональний інференс, щоб розширити пул доступної потужності, і створює систему на основі оптимізації, яка автоматично регулює розподіл потужності між бакетами еластичності залежно від вигоди для користувачів і рекламодавців.

Джерела: Meta Engineering