Meta-ի GEM 2026՝ գովազդի առաջարկության մեկ կենտրոնական բազային մոդել

Meta-ն GEM-ը դարձնում է կենտրոնական գովազդային մոդել

Meta-ն ներկայացրել է GEM 2026-ը՝ Generative Ads Model-ը, որը գովազդի առաջարկության մեկ կենտրոնական բազային մոդել է։ Այն սովորում է Meta-ի բոլոր գովազդային հարթակների տվյալներից և օպտիմիզացնում ամբողջ վորոնկը։

GEM-ը բարելավել է կոնվերսիան 18,9%-ով և CTR-ը՝ 12%-ով; Facebook-ում, Instagram-ում և off-site կոնվերսիայում աճը եղել է 5,8%, 4,1% և 1,6%։

Kunlun-ի ճարտարապետությունը թեքում է մասշտաբավորման կորը

Meta-ն ստեղծել է Kunlun՝ LLM-ի ոճի ճարտարապետություն նորագույն GPU-ների համար, որը տալիս է LLM-ի նման մասշտաբավորում և GEM-ի նախորդ տարբերակների համեմատ բարդությունը մեծացնում է 2,5 անգամ։ Այն միավորում է attention, ամփոփող բաղադրիչ և mixture-of-experts դիզայն; block-aligned sparse attention-ը բարդությունը դարձնում է գծային, իսկ per-example feed-forward ցանցը առաջ տարածումը արագացնում է 2 անգամ։

CompSkip-ը FLOPS-ը նվազեցնում է 43%-ով գրեթե առանց որակի կորստի, OneSeq-ը հետերոգեն հաջորդականությունները միավորում է մեկ շերտում։ GEM-ը կոնտեքստը մեծացրել է 2 անգամ և ցույց տվել 25 անգամ աճի հնարավորություն; որակը հետևում է ուժային օրենքին։

Ինտելեկտի փոխանցում և սովորում մակերևույթների միջև

GEM-ը ինտելեկտը ցածր մակարդակի մոդելներին փոխանցում է LoopFM-ով, որը պատմական հիշողությունը կապում է գիտելիքի դիստիլյացիայի հետ՝ առանց լրացուցիչ ծախսի։ Solaris-ը ասինխրոն առաջադրանքներում գնահատում է հավանական զույգերը մինչև ինֆերենսը, իսկ ճշգրիտ համընկնման բացակայության դեպքում անցնում է ագրեգացված կամ նման embedding-ներին։

GEM-ը կանխատեսումը միավորում է տասնյակ մակերևույթներում, որոնք օրական օգտագործում է 3,6 միլիարդ մարդ, և կանխատեսում է կտտացումներ ու կոնվերսիաներ՝ off-site կոնվերսիայից մինչև հավելվածի տեղադրում։ Տվյալների խառնումը և դոմենային փորձագետների շրջանակը դարձնում են սովորումը կառավարելի։

Ուսուցում LLM-ի մասշտաբով

GEM-ն մարզվում է մի քանի հազար նորագույն GPU-ների վրա՝ Jagged Flash Attention-ի նման kernel-երով և MXFP8 attention-ի ու MLP-ի ուլտրա-ցածր ճշգրտության ուսուցմամբ՝ 5D պարալելիզմով։ Meta-ն ասում է, որ 12 ամսում end-to-end ուսուցման արդյունավետությունը կրկնապատկվել է, FLOPS-ի օգտագործումը եղել է 20-25%, իսկ FLOPs-ը՝ 4 անգամ ավելի։

Ապագայում Meta-ն ծրագրում է, որ GEM-ը սովորի հարթակի բոլոր տվյալներից՝ տեքստից, պատկերներից և տեսանյութերից, անցնի ավելի երկար կոնտեքստի, աճի մեծ կլաստերներում և ներդնի AI-ի վրա հիմնված օպտիմիզացիաներ, որպեսզի ավելի շատ ինտելեկտ փոխանցվի ցածր մակարդակի մոդելներին։

Աղբյուրներ: Engineering At Meta · Meta Engineering