Meta-nın GEM 2026: reklam tövsiyələri üçün vahid mərkəzi əsas model

Meta GEM-i mərkəzi reklam modeli kimi genişləndirir

Meta mühəndisliyi GEM-in 2026 nəslini, Generative Ads Model-i təqdim edib: o, ayrı domen optimallaşdırmasından reklam tövsiyələri üçün vahid mərkəzi əsas modelə keçir. GEM Meta-nın bütün reklam platformalarının məlumat və siqnalları üzrə öyrənir, tam hunini optimallaşdırır: tanınmadan baxılma və konversiyalara qədər.

Şirkət bildirir ki, GEM Meta-nın reklam səthləri və məqsədləri üzrə konversiyanı 18,9%, CTR-ni 12% yaxşılaşdırıb; ötən il Facebook, Instagram və off-site konversiyada hədəf istifadəçilər üzrə artım 5,8%, 4,1% və 1,6% olub.

Kunlun arxitekturası miqyaslama əyrisini əyir

Meta çox böyük modellər üçün ən yeni GPU-larla LLM üslubunda Kunlun arxitekturasını yaradıb; o, LLM kimi miqyaslanır və GEM-in əvvəlki versiyalarına nisbətən model mürəkkəbliyini 2,5 dəfə artırır. Laylar uyğunlaşdırılmış attention, xülasə komponenti və mixture-of-experts dizaynını birləşdirir; block-aligned sparse attention mürəkkəbliyi kvadratikdən xəttiə çevirir, per-example feed-forward şəbəkəsi irəli yayılmanı 2 dəfə sürətləndirir.

CompSkip hesablamaları atlayaraq FLOPS-u demək olar keyfiyyət itkisi olmadan 43% azaldır, OneSeq heterogen ardıcıllıqları bir layda birləşdirir. GEM produksiyada uzun konteksti 2 dəfə artırıb, 25 dəfə artırma imkanı göstərib; keyfiyyət ardıcıllıq uzunluğu ilə güc qanununa uyğundur, böyük modellər uzun ardıcıllıqlardan qeyri-proporsional faydalanır.

İntellektin ötürülməsi və səthlər arası öyrənmə

Əsas modelin real vaxt xidməti bahadır, ona görə GEM intellekti LoopFM ilə aşağı səviyyəli modellərə ötürür. LoopFM dərin tarixi yaddaşı bilik distilləsi ilə birləşdirib ötürülməni əlavə xərcsiz ikiqat artırır. Solaris spekulyativ ilkin hesablama əlavə edir: asinxron fon tapşırıqlarında ehtimal olunan istifadəçi-reklam cütlərini vertikal model inferensindən əvvəl qiymətləndirir, dəqiq uyğunluq olmadıqda iyerarxik şəkildə aqreqasiya olunmuş və ya oxşar istifadəçi embedding-lərinə keçir.

Sistem səviyyəsində GEM proqnozu gündə 3,6 milyard insanın istifadə etdiyi onlarla səth üzrə birləşdirir, eyni vaxtda klikləri və off-site konversiyadan mobil tətbiq quraşdırılmasına qədər konversiyaları proqnozlaşdırır. Qənaətcil məlumat qarışdırması və ümumi və səthə xas ekspertlərlə domen ekspertləri çərçivəsi bu heterogen öyrənməni idarəolunan edir.

LLM miqyasında təlim

GEM indi bir neçə min ən yeni GPU-da məşq edir, Jagged Flash Attention kimi uyğunlaşdırılmış kernel-lər və MXFP8 attention və MLP üçün olanlar da daxil qarışıq ultra-aşağı dəqiqlikli təlimlə, Meta-nın şəbəkə iyerarxiyası ilə hazırlanmış topologiyaya əsaslanan 5D paralelliklə birlikdə. Meta bildirir ki, 12 ayda end-to-end təlim səmərəliliyi ikiqat artıb, modelin FLOPS istifadəsi 20-25% olub, ümumi FLOPs 4 dəfə artıb.

Gələcəkdə Meta GEM-in platformanın bütün məlumatlarından, o cümlədən mətn, şəkil və videolardan öyrənməsini, LLM miqyaslı uzun kontekstə keçməsini, daha böyük klasterlərdə miqyaslanmasını və arxitektura birgə dizaynı və post-training əsaslandırma kimi AI optimallaşdırmalarını tətbiq etməsini planlaşdırır ki, aşağı səviyyəli modellərə daha çox intellekt ötürülsün.

Mənbələr: Engineering At Meta · Meta Engineering