Aiven בונה שער LLM לאחר קיצוץ עלויות טוקנים עם מודלים במשקלים פתוחים

ספקית שירותי מסדי הנתונים בקוד פתוח מאירופה, Aiven, אומרת כי חסכה 80 אחוז מעלויות הטוקנים הפנימיות שלה בתחום ה-AI באמצעות מעבר למודלים עם משקלים פתוחים. החברה, שממוקמת בפינלנד, בנתה את עסקיה על אירוח ומתן מסדי נתונים בקוד פתוח כשירות, ובשנתיים האחרונות עברה לתחום למידת מכונה. בשיחה עם The Register אמר Ville Lehto, סמנכ״ל האסטרטגיה של Aiven, כי בכל הנוגע לתשתיות AI בקוד פתוח, לא טריוויאלי ליצור משהו שיכול לפעול על פני העננים השונים. עם זאת, במתן גישה למפתחים שלה ל-LLMs, החברה רצתה לנהל את עלויות הטוקנים של עצמה ולשלוט בגורלה בכל הקשור לשימוש ב-AI.

איך השער עובד

לאחר גל של דיון סביב token-maxxing, מפתחים בדרך כלל הפכו מעוניינים יותר בצמצום העלויות שלהם באמצעות שימוש בתערובת של מודלים, כולל חלופות סיניות זולות יותר למודלי חזית מערביים, ומודלים עם משקלים פתוחים שמגיעים בעלות נמוכה יותר. למודלים עם משקלים פתוחים יש פרמטרים נלמדים שפורסמו באופן ציבורי, בעיקר המשקלים וההטיות שלהם, וניתן להריץ אותם מקומית או לארח אותם בעלות נמוכה יותר ממודלי חזית של OpenAI ו-Anthropic. דוגמאות כוללות את משפחת Llama של Meta, משפחת Qwen של Alibaba Cloud, DeepSeek מסין, Medium 3.5 ו-Devstral של Mistral AI, ו-Gemma של Google. Lehto אמר כי בכל הנוגע לשימוש בטוקנים, חלק קטן מהמשתמשים הם משתמשים כבדים, וניתן לחסוך הרבה מהוצאותיהם באמצעות שימוש במודלים עם משקלים פתוחים. הוא אמר ש-Aiven עמדה בפני בחירה בין תקציבי טוקנים נוקשים לבין דרך יעילה יותר להשתמש בטוקנים, ובחרה באפשרות השנייה על ידי יישום שער פנימי.

Aiven בנתה את השער שלה סביב מסגרת הקוד הפתוח בשם LiteLLM, שאותה אירחה. היא הוסיפה תכונות כמו תקצוב וניהול גישה, והוסיפה רכיבי קוד פתוח אחרים. היא מריצה את המודלים על GPUs שכורים ומארחת את המודלים בעצמה גם כן. Lehto אמר ש-Aiven המשיכה להשתמש במודלי חזית אבל רק כדי לעזור בתכנון העבודה. בכל הנוגע לביצוע בפועל, היא משתמשת בהרבה מודלים עם משקלים פתוחים. רוב העבודה נעשית עם מודלים עם משקלים פתוחים, אבל החלקים הקריטיים ביותר מתוכננים עם מודלי חזית. עם זאת, מכיוון שהביצועים של מודלים עם משקלים פתוחים ושל מודלי חזית משתנים, היה חשוב גם להשתמש במדדים אחרים, כמו העלות לכל משימה, הוא אמר. החברה אומרת כי היא ראתה ירידה של בערך 80 אחוז בהוצאות בקרב משתמשים כבדים.

לקוחות ותוכניות

Aiven מתכננת להציע את השער כשירות ללקוחות כדי לעזור להם לנהל עלויות טוקנים על ידי כך שיהיה קל יותר להכניס מודלים עם משקלים פתוחים לזרימות העבודה שלהם ולהוציא אותם מהן. הלקוחות שלה כוללים את חברת המסחר האלקטרוני הגרמנית Conrad, חברת סליקת התשלומים הבריטית Dojo, ספקית אבטחת הסייבר Sophos, וחברת התקשורת Avaya. Lehto אמר שמכיוון שהמורשת של Aiven היא בקוד פתוח, הצעת השער כשירות מתאימה לצורכי ארגונים. החברה צפויה להיות רק אחד מהספקים שממצבים את עצמם בניסיון לעזור לארגונים לצמצם עלויות בשימוש ב-AI.

מקורות: The Register