Gartner: מודלים עם משקלים פתוחים יכולים לבצע 90% מעבודות סוכנים בעלות חלקית של LLM חזיתי

האנליסטים של Gartner, Mark Petty ו-Raymond Paquet, אומרים שיצרני מודלים למטרות רווח ירדפו אחרי הכנסות רק מכ-10 אחוז מהשלבים בזרימות עבודה של בינה מלאכותית סוכנית, משום שתשעה מעשרה שלבים הם שגרתיים ומודלים עם משקלים פתוחים יכולים לטפל בהם ברמת שוויון ברבע מהמחיר של המודל הסגור הזול ביותר. במקרים הטובים ביותר, מודלים עם משקלים פתוחים יכולים לבצע 90 אחוז מעבודת הסוכנים בעלות של עד אחד מעשרים מהעלות של הרצת מודל LLM חזיתי בכל שלב. האנליסטים גם מציינים שמודלים פתוחים כיום יכולים להיות פרטניים יותר ולנסות שוב לעתים קרובות יותר, ולכן החיסכון האמיתי לעומת מודל חזיתי קרוב יותר לפי חמישה או שישה.

עלות ושליטה

האנליסטים כתבו בשבוע שעבר במסמך שכותרתו מודלים עם משקלים פתוחים יריצו 90% משלבי זרימת העבודה הסוכנית הארגוניים, כי זרימות עבודה תפעוליות טיפוסיות כוללות מאות הרצות שגרתיות, כגון סיווג, קריאה לכלים, העברה, אימות והתאמת נתונים. הם אומרים שמודלים עם משקלים פתוחים יכולים לטפל במאות מהשלבים השגרתיים האלה על כל שלב אחד שדורש הסקה חזיתית. לעומת המודל הסגור הזול ביותר באותו ניקוד, מודל פתוח עולה רבע מהמחיר, ואילו לעומת מודל חזיתי שמורץ בכל שלב הוא עולה עד אחד מעשרים.

Petty ו-Paquet טוענים שהעלות היא בונוס ולא הסיבה העיקרית למעבר. שנות היסטוריית זרימות עבודה הן חלק גדול ממה שרוכש משלם עבורו בחברת SaaS, וכל שלב שגרתי שנשלח ל-API חזיתי מעביר נתח ממנה מחוץ להיקף הרוכש. מודלים עם משקלים פתוחים משמרים שליטה, הם אומרים.

אימוץ ותפקידים

האנליסטים מציעים הנחת תכנון אסטרטגית שלפיה עד 2030, 90 אחוז משלבי זרימת העבודה התפעולית של סוכנים בארגון יורצו על מודלים עם משקלים פתוחים. הם מצפים שארגונים יאמצו בעיקר מודלים עם משקלים פתוחים בתחום ספציפי, שמתפקדים היטב בתרחישים שבהם מספר קטן של שלבים יציבים במיוחד מורצים מיליוני פעמים בחודש.

רוב המודלים הם כבר סחורה, בעוד שהרנסים, הכלים שמריצים סוכנים ומנהלים סוכנים, הם מקור הערך במוצרי AI. הרנס מנתב עבודה למודל המתאים ביותר למשימה בלי שהמשתמשים יבחינו בהשפעה כלשהי, והרנס טוב חוסך כסף, מציב מגבלות הגנה חזקות ומנהל ציי סוכנים. הרנסים פחות חזקים משאירים למשתמשים יותר לעשות.

תפקידי מודלים חזיתיים ומודלים עם משקלים פתוחים

המסמך מרמז שמודלים חזיתיים ימשיכו למלא תפקיד כמנוע המחקר והפיתוח והם למעשה הוצאת הון. מודלים עם משקלים פתוחים הופכים להוצאת תפעול לאחר שהמודלים החזיתיים מבצעים את העבודה הכבדה.

מקורות: The Register