Meta הפכה קיבולת AI inference בלתי יעילה להמלצות פרסומות טובות יותר

פרדוקס קיבולת ה-inference

Meta בנתה מערכת שמשפרת המלצות פרסומות באמצעות ניצול קיבולת inference בלתי מנוצלת בצי שלה. ציי inference נתקלים בפרדוקס: הם עשויים להיות מוגבלים גלובלית, בעוד חלקים משמעותיים של הקיבולת נשארים לא מנוצלים באופן מקומי. סיבות נפוצות כוללות אי התאמה בין ספק שיא לבין ביקוש משתנה, אי התאמה בזמן בין עיבוד מודלים לבין אספקת קיבולת, אי התאמה בהקצאת משאבים באזורים ואי התאמה בסוג המאיץ. בקנה מידה של Meta, פערים זמניים אלה יוצרים יחד קיבולת משמעותית, וכשהיא בטוחה לשימוש היא יוצרת המלצות פרסומות טובות יותר.

שני מכלולי הגמישות

המערכת משתמשת בשני מכלולים משלימים. Rank More Ads (RMA) מסדר את מספר המועמדים שנדרגו בשלבי הדירוג, כאשר קיבולת אופורטוניסטית זמינה, ומגדיל את הסיכוי למציאת פרסומות מתאימות למשתמש. RMA דורש משאבי יתר גם מ-CPU וגם ממאיץ. Serve Better Models (SBM) מסדר את שיעור הבקשות שמופנות למודל חזק יותר בהתאם לשינויים בקיבולת המאיץ, כך שמספר הפרסומות שנכנסות לשלבי הדירוג נשאר קבוע וכך ביקוש ה-CPU יישאר יציב. לכן SBM יכול להשתמש רק במשאבי היתר של המאיץ ש-RMA לא משתמש בהם. רכיב הנתב של המודל משתמש באותות ערך של בקשה כדי לתעדף בקשות שצפויות כנראה להרוויח הכי הרבה מהמודל החזק יותר.

הגנה על תעבורת בסיס

בידוד פיזי ולוגי מגן על קיבולת שמורה לשירותי בסיס. SBM משתמש בבידוד פיזי: מודלי בסיס ומודלים חזקים יותר משתמשים ביעדי ניתוב נפרדים, עם רפליקות שמורות לבסיס ורפליקות אופורטוניסטיות למודל החזק יותר. RMA משתמש בבידוד לוגי: המערכת מחשבת כמה עבודת דירוג מועמדים נוספים הרפליקות האופורטוניסטיות יכולות לבצע, וקובעת תקציב גלובלי. RMA משתמש במעגל בקרה סגור עם בקר PID מרכזי וביצוע בצד הלקוח שמסתמך על השהיית תור מנוטרת. SBM משתמש במעגל מקביל, שבו הבקר המרכזי קובע יעד כיסוי, וצד הלקוח בוחר בדירוג תוך התחשבות בערך בתהליך explore-and-exploit. בהתחשבות רב-רמתית בערך, שחרור העומס מהשרתים ומהלקוחות מגיב במילישניות כאשר קיבולת מתהפכת בפתאומיות.

מה הלאה

Meta מתכננת להגדיל גמישות עומס על ידי הרחבת טווח פעולה של RMA ו-SBM ופיתוח מכלולים חדשים, כמו גמישות חישוב מקדימה שמשלימה עבודה לפני הבקשה. החברה גם מרחיבה ניידות מודלים ו-inference בין אזורים כדי להרחיב את מאגר הקיבולת הזמינה, ובונה מערכת מבוססת אופטימיזציה שמסדרת אוטומטית את הפצת הקיבולת בין מכלולי גמישות, לטובת משתמשים ומפרסמים לפי רווח.

מקורות: Meta Engineering