Meta GEM 2026: מודל בסיס מרכזי אחד להמלצת פרסומות

Meta מרחיבה את GEM למודל פרסום מרכזי

ההנדסה של Meta תיארה את דור 2026 של GEM, Generative Ads Model, העובר מאופטימיזציה נפרדת לדומיינים למודל בסיס מרכזי אחד להמלצת פרסומות. GEM לומד על כל הנתונים והאותות של כל פלטפורמות הפרסום של Meta ומבצע אופטימיזציה מלאה של משפך: ממודעות ועד צפיות והמרות.

החברה מדווחת כי GEM שיפר את ההמרה בפני משטחי הפרסום והמטרות של Meta ב-18.9% ואת ה-CTR ב-12%; במהלך השנה החולפת הייתה גידול של 5.8%, 4.1% ו-1.6% בהמרות לקהל יעד ב-Facebook, ב-Instagram ובהמרות off-site, בהתאמה.

ארכיטקטורת Kunlun שוברת את מחסום הקנה מידה

לצורך יעילות של מודלים גדולים מאוד, Meta יצרה את Kunlun, ארכיטקטורה בסגנון LLM, מותאמת לעיבוד עם GPU-ים עדכניים; היא מאפשרת סקליביליות דמוית LLM ומגדילה את מורכבות המודל פי 2.5 בהשוואה לגרסאות הקודמות של GEM. השכבות מאחדות תשומת לב מותאמת, רכיב מסכם ואינטראקציה צולבת בעיצוב mixture-of-experts; block-aligned sparse attention ממיר מורכבות מרובעת לליניארית, ורשת feed-forward לכל דוגמה מאיצה את ההפצה פי 2.

CompSkip מפחית את FLOPS ב-43% עם דילוג על חישובים בעלות אובדן כמעט אפס, ו-OneSeq מאחד רצפים הטרוגניים בשכבה אחת. GEM הגדיל את ההקשר הארוך בפרודקשן פי 2 והדגים יכולות הגדלה פי 25; האיכות נשמרת לאורך רצף בהתאם לחוק העוצמה של אורך הרצף, ומודלים גדולים נהנים באופן לא פרופורציונלי מרצפים ארוכים.

העברת אינטליגנציה ולמידה בין משטחים

שירות בזמן אמת של מודל בסיס יקר, ולכן GEM מעביר אינטליגנציה למודלי רמה נמוכה באמצעות LoopFM. LoopFM מחבר זיכרון היסטורי עמוק עם דיסטילציה של ידע ומכפילה את ההעברה ללא עלות נוספת. Solaris מוסיף חישוב מקדים ספקולטיבי: במשימות רקע א-סינכרוניות הוא מעריך זוגות משתמש-פרסומת פוטנציאליים עד להסקה של מודל אנכי, ובהיעדר התאמה מדויקת עובר היררכית ל-embedding-ים מאוגדים או דומים של משתמשים.

ברמה המערכתית, GEM מאחד תחזית על מאות משטחים בהם 3.6 מיליארד אנשים משתמשים מדי יום, ובו זמנית חוזה לחיצות והמרות מהמרת off-site ועד התקנת אפליקציה מובייל. ערבוב נתונים חסכוני ומסגרת מומחים דומיינליים, עם מומחים כלליים וספציפיים למשטח, הופכים למניה את הלמידה ההטרוגנית הזו.

למידה בקנה מידה של LLM

GEM מתאמן כעת על כמה אלפי GPU-ים עדכניים, עם ליבות מותאמות כמו Jagged Flash Attention, ולמידה מעורבת בדיוק נמוך במיוחד, כולל MXFP8 עבור attention ו-MLP, לצד מקביליות 5D מבוססת טופולוגיה, מותאמת לעיבוד עם ההיררכיה הרשתית של Meta. Meta מדווחת כי ב-12 חודשים יעילות הלמידה end-to-end הוכפלה וניצול FLOPS של המודל הגיע ל-20-25%, וסך ה-FLOPs גדל פי 4.

בעתיד Meta מתכננת ש-GEM ילמד מכל הנתונים של הפלטפורמה, כולל טקסט, תמונות וסרטונים, יעבור להקשר ארוך בקנה מידה של LLM, יגדל על מקבצים גדולים יותר וישלב אופטימיזציות מבוססות AI, כמו עיצוב ארכיטקטורה משותף ויכולת היגיון post-training, כדי להעביר יותר אינטליגנציה למודלי רמה נמוכה.

מקורות: Engineering At Meta · Meta Engineering