סגן נשיא Fireworks AI: הרצת AI באתר הלקוח עלולה לבזבז תקציב GPU

Fireworks AI תומכת בהרצת מודלים במרכזי הנתונים של הלקוחות עצמם, אך סגן הנשיא רוב פרגוסון טוען שחברות רבות צריכות להימנע מכך, משום שחומרת GPU יקרה מאוד ואינה משתלמת כאשר היא אינה מנוצלת במלואה. ספקית ההסקה המנוהלת מוסיפה שניתוב משימות בין מודלים, שימוש במטמון, טיפול בנתונים ומהירות יכולים לשנות את העלות האמיתית של עבודת AI.

AI באתר הלקוח וכלכלת ה-GPU

פרגוסון סיפר ל-The Register ש-Fireworks AI מנסה להרחיק לקוחות מ-AI באתר הלקוח, משום שלדבריו מדובר בכלכלה בלבד. לדבריו, 10,000 יחידות GPU מייצגות מיליארד דולר של הון, והחברות אינן רוצות שמערכות אלו יעמדו בשיממון. עבור עומסי עבודה רגישים מציעה Fireworks שירות בשם Sovereign ויש לה שותפים כמו Microsoft, אך פרגוסון אמר שרוב עבודות ההסקה כנראה אינן זקוקות לרמת הגנה כזו.

ניתוב בין מודלים במקום מודל אחד

פרגוסון אמר שהמודל הטוב ביותר הוא תיק של מודלים ולא מודל בודד כמו Astra או Fable, ושאין ספק שניתוב בין כמה מודלים עדיף על שימוש במודל אחד בלבד. Fireworks עושה זאת באמצעות Nexus וה-API שלה, לצד מתחרים כמו Together AI, Baseten ו-DeepInfra. החברה אומרת שהיא אינה מבצעת ניתוב נאיבי כמו שער AI, אלא מעריכה את המשימות עם הגעתן ומפנה אותן למודל האופטימלי.

Fireworks בונה נתבים מותאמים אישית, והמודל האוטומטי שלה מתעדכן ללא הרף: היא מדרגת את קושי המשימה ומזהה נטיות של מודלים, למשל ש-Kimi מעט טוב יותר ב-JavaScript מאשר ב-Python. פרגוסון ייחס את היתרון של החברה לצוות ההנדסה שלה ולעבודת המייסדים על PyTorch, ואמר שהצוות מבין חישוב נומרי, טופולוגיות של תערובת מומחים, דיוק בנקודה צפה וניתוב דרך רשתות מורכבות שעשויות לכלול יותר מספק אחד.

עלות, נתונים ומהירות

פרגוסון אמר ש-AI תמיד חוזר לכלכלה, כולל השאלה כמה עבודה אפשר להעביר למודלים השמורים במטמון או למודלים פתוחים ומתי נדרשת התמחות. לדבריו, חברות המודלים המובילים אינן שקופות לגבי שיעורי המטמון שלהן. הוא הצביע על חברת מדעי נתונים שבה Fireworks שמרה במטמון כ-90 אחוז מהמשימות, בעוד Opus של Anthropic שמר במטמון 30 אחוז בלבד. הוא אמר שעבודה חוזרת ב-AI היא ההוצאה הגדולה ביותר, שעלות הטוקנים אינה העלות האמיתית, ושהלקוחות צריכים לעקוב אחר העלות למשימה.

פרגוסון הוסיף שחברות מזלזלות בערך הנתונים שלהן. ל-Fireworks יש מדיניות של אי שמירת נתונים, אך לדבריו חברות אחרות פעמים רבות אינן נוהגות כך, ואם הן משתמשות בנתונים שלכם מגיע לכם לקבל תמורה. הוא ציין שהמודלים הם מכונות שינון ושקיימות לכך ראיות. המהירות, הוסיף, אינה מוערכת מספיק ומשנה את האופן שבו הוא עובד עם AI. פרגוסון טען שאיחוד מודלים יכול להקטין את החשבון בלפחות 50 אחוז. לדבריו, Fireworks מדברת על מחיר נמוך פי שישה עד שמונה, תוך הבטחה שהחשבון יקטן בחצי כאשר הלקוחות עדיין משתמשים בשילוב של מודלים סגורים ופתוחים.

מקורות: The Register