Meta'nın GEM 2026: Reklam Önerisi için Merkezi Temel Model

Meta GEM'i merkezi reklam modeli olarak genişletiyor

Meta Mühendisliği, GEM'in 2026 neslini, Generative Ads Model'i tanıttı; bu model, ayrı ayrı alan adı optimizasyonundan reklam önerisi için tek bir merkezi temel modele geçiş yapıyor. GEM, Meta'nın tüm reklam platformlarından gelen verileri ve sinyallerini öğreniyor ve farkındalığa, incelemeye ve dönüşümlere kadar uçtan uca optimizasyon gerçekleştiriyor.

Şirket, GEM'in Meta'nın reklam yüzeylerinde ve hedeflerinde dönüşümü %18,9 ve CTR'yi %12 iyileştirdiğini duyuruyor; geçtiğimiz yılda, Facebook, Instagram ve site dışı dönüşümlerde hedeflenen kullanıcılarla sırasıyla %5,8, %4,1 ve %1,6 artış gözlendi.

Kunlun mimarisi ölçekleme darboğazını aşıyor

Çok büyük modellerin verimliliği için Meta, en son GPU'larla optimize edilmiş LLM tarzı bir mimari olan Kunlun'u oluşturdu; bu, LLM benzeri ölçekleme sağlar ve model karmaşıklığını GEM'in önceki sürümleriyle karşılaştırıldığında 2,5 kat artırır. Katmanlar, ayarlanmış dikkat (attention), birleştirici bileşeni ve uzmanlar karışımı (mixture-of-experts) tasarımıyla çapraz etkileşimi birleştirir; blok hizalı seyrek dikkat karmaşıklığı kareden doğrusala dönüştürür, örnek başına ileri besleme ağı ise ileri yayılımı 2 kat hızlandırır.

CompSkip, hesaplamaları atlayarak FLOPS'u neredeyse ölçüsüz kayıp ile %43 azaltır, OneSeq ise heterojen dizileri tek katmanda birleştirir. GEM, üretimde uzun bağlamı 2 kat artırdı ve 25 kat büyütme yeteneği gösterdi; kalite dizi uzunluğuyla güç yasasına uyar, ancak büyük modeller uzun dizilerden orantısız şekilde yararlanır.

Zekanın Aktarımı ve Yüzeyler Arası Öğrenme

Temel modelin gerçek zamanlı sunumu pahalıdır, bu yüzden GEM zekayı LoopFM ile düşük seviyeli modellere aktarır. LoopFM, derin geçmiş belleği bilgiyi damıştırmayla birleştirir ve aktarımı ek maliyet olmadan iki katına çıkarır. Solaris, spekülatif ön hesaplama ekler: asenkron arka plan görevlerinde, potansiyel kullanıcı-reklam çiftlerini dikey modelin çıkarımına kadar değerlendirir, tam eşleşme yoksa hiyerarşik olarak agregate veya benzer kullanıcı gömme (embedding) lerine geçer.

Sistem düzeyinde GEM, günde 3,6 milyar kişinin kullandığı çok sayıda yüzde tahmini birleştirir ve aynı anda site dışı dönüşümlerden mobil uygulama kurulumuna kadar tıklamaları ve dönüşümleri tahmin eder. Verimli veri karıştırma ve alan uzmanları çerçevesi, genel ve yüzeysel özgü uzmanlarla bu heterojen öğrenmeyi yönetilebilir kılar.

LLM Ölçeğinde Eğitim

GEM, Jagged Flash Attention gibi ayarlanmış çekirdeklerle ve MXFP8 attention ve MLP için karma ultra düşük hassasiyetli eğitimle, topolojiye dayalı 5D paralellizmiyle birlikte, binlerce en son GPU'da eğitim görmektedir ve Meta'nın ağ hiyerarşisiyle optimize edilmiştir. Meta, 12 ayda uçtan uca eğitim verimliliğinin iki katına çıktığını, model FLOPS kullanımının %20-25'e ulaştığını ve toplam FLOPs'ün 4 kat arttığını bildiriyor.

Gelecekte Meta, GEM'in platformdaki tüm verilerden, metinlerden, görüntülerden ve videolardan öğrenmesini, LLM ölçeğinde uzun bağlama geçmesini, daha büyük kümelerde büyümesini ve mimari ortak tasarım ve eğitim sonrası akıllılaştırma gibi yapay zekâ tabanlı optimizasyonları devreye sokmayı planlıyor, böylece daha fazla zeka düşük seviyeli modellere aktarılacak.

Kaynaklar: Engineering At Meta · Meta Engineering