Meta-ს GEM 2026: ერთი ცენტრალური საბაზისო მოდელი რეკლამის რეკომენდაციისთვის

Meta GEM-ს ცენტრალურ სარეკლამო მოდელად აფართოებს

Meta-ს ინჟინერიამ აღწერა GEM-ის 2026 წლის თაობა, Generative Ads Model, რომელიც დომენების ცალკეული ოპტიმიზაციიდან რეკლამის რეკომენდაციის ერთ ცენტრალურ საბაზისო მოდელზე გადადის. GEM სწავლობს Meta-ს ყველა სარეკლამო პლატფორმის მონაცემებსა და სიგნალებზე და ახორციელებს სრული ვორონკის ოპტიმიზაციას: ცნობადობიდან განხილვამდე და კონვერსიებამდე.

კომპანია იუწყება, რომ GEM-მა Meta-ს სარეკლამო ზედაპირებსა და მიზნებზე კონვერსია 18,9%-ით და CTR 12%-ით გააუმჯობესა; გასული წლის განმავლობაში სამიზნე მომხმარებლებზე Facebook-ზე, Instagram-სა და off-site კონვერსიაზე ზრდა 5,8%, 4,1% და 1,6% იყო.

Kunlun-ის არქიტექტურა მასშტაბირების მრუდს ახრის

მეტად დიდი მოდელების ეფექტიანობისთვის Meta-მ შექმნა Kunlun, LLM-ის სტილის არქიტექტურა, უახლეს GPU-ებთან შემუშავებული; ის LLM-ის მსგავს მასშტაბირებას იძლევა და GEM-ის წინა ვერსიებთან მოდელის სირთულეს 2,5-ჯერ ზრდის. ფენები აერთიანებს მორგებულ attention-ს, შემაჯამებელ კომპონენტს და ჯვარედინ ურთიერთქმედებას mixture-of-experts დიზაინით; block-aligned sparse attention სირთულეს კვადრატულიდან წრფივზე გადაიყვანს, per-example feed-forward ქსელი კი წინ გავრცელებას 2-ჯერ აჩქარებს.

CompSkip გამოთვლების გამოტოვებით FLOPS-ს 43%-ით ამცირებს თითქმის უხარისხო დანაკარგით, OneSeq კი ჰეტეროგენულ მიმდევრობებს ერთ ფენაში აერთიანებს. GEM-მა პროდაქშენში გრძელი კონტექსტი 2-ჯერ გაზარდა და 25-ჯერ გაზრდის შესაძლებლობა აჩვენა; ხარისხი მიმდევრობის სიგრძესთან სიმძლავრის კანონს მიჰყვება, დიდი მოდელები კი გრძელი მიმდევრობებით არაპროპორციულად სარგებლობენ.

ინტელექტის გადაცემა და ზედაპირებს შორის სწავლა

საბაზისო მოდელის რეალურ დროში მომსახურება ძვირია, ამიტომ GEM ინტელექტს ქვედა დონის მოდელებზე LoopFM-ით გადასცემს. LoopFM ღრმა ისტორიულ მეხსიერებას ცოდნის დისტილაციასთან აკავშირებს და გადაცემას დამატებითი ხარჯის გარეშე აორმაგებს. Solaris სპეკულაციურ წინასწარ გამოთვლას ამატებს: ასინქრონულ ფონურ ამოცანებში აფასებს სავარაუდო მომხმარებელ-რეკლამა წყვილებს ვერტიკალური მოდელის ინფერენსამდე, ზუსტი დამთხვევის არარსებობისას კი იერარქიულად გადადის აგრეგირებულ ან მსგავსი მომხმარებლის embedding-ებზე.

სისტემურ დონეზე GEM პროგნოზს აერთიანებს ათობით ზედაპირზე, რომლებსაც დღეში 3,6 მილიარდი ადამიანი იყენებს, და ერთდროულად პროგნოზირებს დაწკაპუნებებსა და კონვერსიებს off-site კონვერსიიდან მობილური აპის ინსტალაციამდე. უხარჯო მონაცემთა შერევა და დომენური ექსპერტების ჩარჩო, საერთო და ზედაპირზე სპეციფიკური ექსპერტებით, ამ ჰეტეროგენულ სწავლას მართვადს ხდის.

სწავლება LLM-ის მასშტაბზე

GEM ახლა რამდენიმე ათას უახლეს GPU-ზე ვარჯიშობს, მორგებული kernel-ებით, როგორიცაა Jagged Flash Attention, და შერეული ულტრა-დაბალი სიზუსტის სწავლებით, მათ შორის MXFP8 attention-ისა და MLP-ისთვის, ტოპოლოგიაზე დაფუძნებულ 5D პარალელიზმთან ერთად, Meta-ს ქსელურ იერარქიასთან შემუშავებული. Meta იუწყება, რომ 12 თვეში end-to-end სწავლების ეფექტიანობა გაორმაგდა და მოდელის FLOPS-ის გამოყენებამ 20-25% შეადგინა, საერთო FLOPs კი 4-ჯერ გაიზარდა.

მომავალში Meta გეგმავს GEM-მა ისწავლოს პლატფორმის ყველა მონაცემიდან, მათ შორის ტექსტიდან, სურათებიდან და ვიდეოებიდან, გადავიდეს LLM-ის მასშტაბის გრძელ კონტექსტზე, გაიზარდოს უფრო დიდ კლასტერებზე და დანერგოს AI-ზე დაფუძნებული ოპტიმიზაციები, როგორიცაა არქიტექტურის თანადიზაინი და post-training მსჯელობის უნარით, რათა მეტი ინტელექტი გადაეცეს ქვედა დონის მოდელებს.

წყაროები: Engineering At Meta · Meta Engineering