Meta, Fırsatçı AI Çıkarım Kapasitesini Daha İyi Reklam Önerilerine Dönüştürdü

Çıkarım Kapasitesi Paradoksu

Meta, filosundaki fırsatçı çıkarım kapasitesini kullanarak reklam önerilerini iyileştiren bir sistem geliştirdi. Çıkarım filoları kapasite paradoksuyla karşı karşıyadır: küresel olarak sınırlı olabilirken, kapasitenin önemli bölümleri yerel olarak atıl kalabiliyor. Sık görülen nedenler arasında nihai sunum ile talebindeki uyumsuzluk, model hazırlama ve kapasite sağlama zamanlarındaki uyumsuzluk, bölgeler arası kaynak dağılımındaki dengesizlik ve hızlandırıcı türü uyumsuzluğu yer alıyor. Meta ölçeğinde bu geçici boşluklar toplu olarak önemli bir kapasite oluşturur ve güvenli bir şekilde kullanıldığında daha iyi reklam önerileri sağlar.

İki Esneklik Kotarı

Sistem iki birbirini tamamlayan kotarır. Rank More Ads (RMA), fırsatçı kapasite mevcut olduğunda sıralama aşamaları tarafından değerlendirilen aday sayısını düzenler ve kullanıcıya uygun reklamların görüntülenebilme olasılığını artırır. RMA, hem CPU hem de hızlandırıcının fazladan kaynağını gerektirir. Serve Better Models (SBM), hızlandırıcı kapasitesindeki değişimlere göre daha güçlü bir modele yönlendirilen isteklerin oranını düzenler, böylece sıralama aşamalarına gelen reklam sayısının sabit kalmasını sağlar ve CPU talebini stabilize eder. Bu nedenle SBM, RMA'nın kullanamayacağı hızlandırıcı artığını değerlendirebilir. Model yönlendirici bileşeni, istek değer sinyallerini kullanarak büyük olasılıkla daha güçlü modelden en fazla değeri alacak istelere öncelik tanır.

Temel Trafiğin Korunması

Fiziksel ve mantıksal izolasyon, temel hizmetler için ayrılmış kapasiteyi korur. SBM fiziksel izolasyon kullanır: temel ve daha güçlü modeller ayrı yönlendirme hedeflerini kullanır; temel model için ayrılmış replikalar, daha güçlü model için fırsatçı replikalar ayrılır. RMA mantıksal izolasyon kullanır: sistem, fırsatçı replikaların kaç ek aday sıralama işini yapabileceğini hesaplar ve global bir bütçe belirler. RMA, merkezi PID kontrolcüsü ve gecikme kodunu kullanan bir istemci tarafı uygulamasıyla kapalı geri bildirim döngüsü kullanır. SBM benzer bir döngü kullanır: merkezi kontrolcü hedef kapsamayı belirlerken, istemci tarafındaki yönlendirici değerlendirme yolunu kullanarak explore-and-exploit süreciyle seçim yapar. Çok aşamalı değerlendirmelerle yük dağıtımı, hem sunucularda hem istemcilerde milisaniyeler içinde tepki verir ve kapasite aniden döndürüldüğünde.

Sıradaki Ne Olacak

Meta, RMA ve SBM işleyişinin ölçeğini genişleterek ve istek zamanından önce işi tamamlayan önceden hesaplanmış esneklik gibi yeni kotarlar geliştirerek yük esnekliğini artırmayı planlıyor. Ayrıca şirket, model taşınabilirliğini ve bölgeler arası çıkarımı genişleterek değerlendirilebilir kapasite havuzunu büyütmeyi ve esneklik kotarları arasında kapasite dağıtımını kullanıcılar ve reklamverenler için faydaya göre otomatik olarak ayarlayan optimizasyon odaklı bir sistem oluşturmayı planlıyor.

Kaynaklar: Meta Engineering