Meta GEM 2026: одна центральна базова модель для рекомендації реклами

Meta розширює GEM як центральну рекламну модель

Інженери Meta описали покоління GEM 2026, Generative Ads Model, яке переходить від окремої оптимізації доменів до єдиної центральної базової моделі рекомендації реклами. GEM вивчає дані й сигнали всіх рекламних платформ Meta та виконує повну оптимізацію воронки: від відомості до розгляду й конверсій.

Компанія повідомляє, що GEM підвищив конверсію на 18,9% і CTR на 12% для рекламних поверхонь і цілей Meta; за минулий рік ріст для цільових користувачів у Facebook, Instagram та off-site конверсії становив 5,8%, 4,1% і 1,6%.

Архітектура Kunlun усуває вузьке місце масштабування

Для ефективності надвеликих моделей Meta створила Kunlun — архітектуру в стилі LLM для сучасних GPU. Вона забезпечує масштабування, подібне до LLM, і збільшує складність моделі в 2,5 рази попередніх версій GEM. Шари поєднують налаштований attention, агрегуючий компонент і кросвзаємодію за дизайном mixture-of-experts; block-aligned sparse attention переводить складність з квадратичної на лінійну, а per-example feed-forward мережа прискорює пряме поширення вдвічі.

CompSkip зменшує FLOPS на 43% майже без втрат якості, а OneSeq об'єднує гетерогенні послідовності в одному шарі. У продакшені GEM удвічі збільшив довгий контекст і продемонстрував здатність зростати в 25 разів; якість прямує закону масштабування щодо довжини последовності, а великі моделі непропорційно вигідні з довгими последовностями.

Передача інтелекту і навчання між поверхнями

Обслуговування базової моделі в реальному часі дороге, тому GEM передає інтелект моделям нижнього рівня через LoopFM. LoopFM поєднує глибоку історичну пам'ять з дистиляцією знань і подвоює передачу без додаткових витрат. Solaris додає спекулятивні попередні обчислення: у асинхронних фонових задачах він оцінює можливі пари «користувач — реклама» ще до інференсу вертикальної моделі, а за відсутності точного збігу ієрархічно переходить до агрегованих або embedding подібних користувачів.

На системному рівні GEM об'єднує прогнози на сотнях поверхонь, якими щодня користується 3,6 мільярда людей, і одночасно прогнозує кліки й конверсії від off-site конверсії до встановлення мобільного застосунку. Дешеве змішування даних і фреймворк доменних експертів — загальних і специфічних для поверхні — роблять таке гетерогенне навчання керованим.

Навчання в масштабах LLM

GEM тепер тренується на тисячах сучасних GPU з налаштованими ядрами, такими як Jagged Flash Attention, і зі змішаним навчанням ультранизької точності, включно з MXFP8 для attention і MLP, разом із 5D паралелізмом на основі топології, оптимізованим для мережевої ієрархії Meta. Meta повідомляє, що за 12 місяців ефективність навчання end-to-end подвоїлася, утилізація FLOPS моделі досягла 20-25%, а загальні FLOPs виросли в 4 рази.

У майбутньому Meta планує, щоб GEM навчалася на всіх даних платформи, включно з текстом, зображеннями та відео, перейшла на довгий контекст у масштабах LLM, росла на більших кластерах і застосовувала оптимізації на основі AI, такі як співдизайн архітектури та здібність до міркувань у post-training, щоб передавати більше інтелекту моделям нижнього рівня.

Джерела: Engineering At Meta · Meta Engineering