Revolut: מודלי GLM באירוח עצמי קיצצו עלויות הסקה לקידוד AI בכ-90 אחוז

Revolut אומרת כי קיצצה את עלויות ההסקה לקידוד AI בכ-90 אחוז בפחות משנה על ידי הפיכת מודלים באירוח עצמי לברירת המחדל שלה, במקום להסתמך בעיקר על שירותים מסחריים כמו Claude. David Abitbol, מוביל תפעול ותשתיות בחברת הפינטק הבריטית, תיאר את התוצאות בכנס AI Engineer בניו יורק בחודש שעבר. החברה גם דיווחה על שיפור של 60 אחוז בזמן הקידוד ושיפור של 70 אחוז בזמן האספקה לאחר פריסת כלי קידוד AI לכ-2,000 מהנדסים.

לחץ עלויות הוביל לאירוח עצמי

Revolut אימצה תחילה את GLM-5.1 לפני שעברה ל-GLM-5.3, שאותו היא משרתת כיום באמצעות 56 מעבדי Nvidia B200. לפני המעבר ל-GLM, Revolut התנסתה ב-AI, ופרסה את Gemini בתחילת 2025 ואת Claude Code בתחילת 2026. Abitbol אמר שהחברה הייתה ספקנית מאוד לגבי עלות ה-AI, כשמהנדסים הוציאו $1,000 בחודש או $10,000 בחודש עם ROI לא גבוה במיוחד, ולכן היא השיקה את הכלים עם מגבלות תקציב נוקשות.

מכיוון שלמהנדסים הייתה גישה רק למספר מוגבל של טוקנים, Revolut החלה לבדוק אירוח עצמי של המודלים שלה. בעלות של $0.30 למיליון טוקני קלט ופלט, אירוח עצמי של GLM 5.1 עלה כעשירית משימוש ב-Codex של OpenAI או ב-Claude Code של Anthropic. Abitbol אמר שכאשר טוקנים זולים, צוותים מפסיקים לדאוג לכמה הם משתמשים או למה הם משתמשים בהם. צוואר הבקבוק הגדול ביותר לא היה הקוד עצמו, הוא ציין. הרווחים הגדולים ביותר הגיעו מלתת למודלי ה-AI להתמודד עם דיבוג וקריאות Jira ו-Confluence.

הרצת GLM בקנה מידה

GLM 5.1 פותח על ידי מפתחת מודלים במשקולות פתוחות סינית Z.ai. יש לו כ-754 מיליארד פרמטרים בסך הכול, כאשר 40 מיליארד מופעלים עבור כל טוקן שנוצר, והוא דורש כ-380 GB של זיכרון GPU רק כדי להחזיק את המשקולות ועוד 6 עד 26 GB לכל משתמש כדי לשמור על הקשר בהתאם לדיוק. Revolut פרסה 56 מעבדי Nvidia B200 כדי להריץ את GLM-5.3 בקנה מידה, שווה במספר ה-GPU לשבע מערכות DGX B200 עם שמונה מעבדים כל אחת.

Abitbol אמר שהשיפורים הגדולים ביותר בביצועים לא הגיעו מהוספת GPU, אלא מכוונון ההיפרפרמטרים של המודל יחד עם מעבר לקוונטיזציה NVFP4, יישום prefill ו-decode מפורקים, וכיוונון אורכי הקשר. הוא הזהיר שחלון הקשר של מיליון טוקנים לא בהכרח הופך חלון כה גדול לשימושי או יעיל, ואמר ש-256,000 טוקנים הם באמת מה שנדרש. עם האופטימיזציות, Revolut השיגה זמן של פחות מ-3 שניות לטוקן הראשון בחלונות הקשר של כ-256,000 טוקנים ומהירויות יצירה של כ-200 טוקנים בשנייה. Abitbol אמר שמהנדסים שמתחברים אחרי 5 pm מקבלים קרוב ל-800 טוקנים בשנייה.

ניתוב מודלים ואבטחה

GLM לא החליף לחלוטין את GPT או Claude. המודל הסיני הוא טקסט בלבד, ולכן הוא לא אידיאלי לדברים כמו עבודת UI. Revolut השתמשה בנתב מודלים כדי לנתב שאילתות ראייה למודלים כמו Gemini או GPT Luna ובמקביל להשאיר את יצירת הקוד ב-GLM. Abitbol אמר שקוד פתוח הוא כעת עדיפות ב-Revolut ושהכלכלה שלו נוחה, עם חיוב אחיד וללא הפתעה בחשבון בסוף החודש, בעוד שמודלי החזית הם היוצא מן הכלל.

Abitbol הודה שמודלים סיניים במשקולות פתוחות עשויים להיות מקור דאגה מסיבות של פרטיות ואבטחה, אך הוא הדגיש שהדאגה העיקרית היא גישה אליהם דרך ממשקי API שפועלים מסין. כאשר מריצים אותם באירוח מקומי או במשאבי ענן אזוריים, אין ממה לדאוג, הוא אמר.

מקורות: The Register