Cloudflare השיקה את Auto Router: AI Gateway בוחר בעצמו מודל לכל בקשה

Cloudflare שחררה את Auto Router כחלק מ-AI Gateway בבטא ציבורית. זוהי שכבת ניתוב שבוחרת בעצמה מודל לכל בקשה ואינה משאירה את הבחירה למשתמש. מספיק לציין את cloudflare/auto כמודל. לדברי Cloudflare, שימוש פנימי בסביבת OpenCode הפחית את ההוצאות בעד 30%, אם משווים להסתמכות רק על המודלים החזקים ביותר.

מה מראה המדידה

Cloudflare השוותה את cloudflare/auto ל-Claude Opus 5.5 של Anthropic ול-GPT-6 Sol של OpenAI בבנצ'מרק פנימי, המבוסס על כלי עבודה: דואר אלקטרוני, יומן, Slack, קבצים, נסיעות ופיננסים. מתוך 97 משימות בשלושה ניסיונות כל אחת, הנתב השלים בהצלחה 252 מתוך 291 ניסיונות, כלומר 86,6%, העלות הכוללת הייתה 2,10 דולר, והצלחה אחת עלתה 0,0084 דולר. Claude Opus 5.5 הגיע ל-96,6% בעלות של 5,91 דולר, ו-GPT-6 Sol הגיע ל-84,2% בעלות של 2,64 דולר. ההוצאה של הנתב נמצאה כ-80% מזו של Sol וכ-35% מזו של Opus.

איך מתקבלת ההחלטה

תחילה AI Gateway קובע את רשימת המודלים שיכולים לטפל בבקשה. הוא מסנן מודלים לפי פורמט, מצב הרצה, נתוני הרשאה, חיוב, כללי גישה ומגבלות הוצאה, ולספקים לא תקינים הוא מוציא זמנית מהרשימה. לאחר מכן מסווג שפועל על Workers AI קורא את ההודעות האחרונות בשיחה, מזהה את סוג המשימה מתוך 14 קטגוריות ומעריך אותה לפי מורכבות, אי-ודאות, חשיבות ותלות בהקשר. מטריצת ניקוד מקשרת בין האותות הללו לתוצאות הבנצ'מרק, ולאחר מכן הנתב בוחר את המודל שהתועלת שלו הגבוהה ביותר: התועלת מחושבת כאיכות הצפויה פחות קנס הוצאה מתכוונן. במפגשי סוכן ארוכים הנתב מתחשב גם בקריאה וכתיבה של מטמון, מכיוון שהחלפת מודל מאבדת הקשר חם וכתיבתו מחדש יקרה.

מציאת הוצאות מיותרות

יחד עם הנתב, Cloudflare הרחיבה את User Insights, לוח בקרה לתעבורת AI, שכעת מסמן את השיחות שבהן המודל הנבחר חזק מדי עבור המשימה. הלוח גם מראה איזה משתמש, סוכן או אפליקציה גורמים להוצאה הזו. תצוגת Potential Savings מאתרת בקשות שמודל זול יותר יכול לבצע בלי לפגוע באיכות, וניתוח המשימות מחלק את התעבורה לקטגוריות: קוד, מחקר, כתיבה, סיכום וניתוח נתונים. הסיווג אסינכרוני ואינו מפריע לעיבוד הבקשה, ולכן אינו מאט את התשובה, אך הניתוח מפגר אחרי התעבורה בערך ביום אחד. User Insights חינמית למשתמשי AI Gateway. Cloudflare Access, שמקשרת תעבורה למשתמשים מורשים, חינמית לצוות של עד 50 משתמשים.

למה זה חשוב

רוב החברות כבר בחרו את הכלים היומיומיים שלהן, אך הוצאות ה-AI גדלות מהר יותר מהתוצאות. תקציב ומגבלות קשיחות לא פותרים הכול, כי בסופו של דבר אדם צריך להחליט בקשה-בקשה אם סיכום צריך את המודל החזק ביותר. הרעיון של Cloudflare הוא ש-AI Gateway יקבל את ההחלטה הזו בעצמו, כי דרכו עוברת כל בקשה. Auto Router חינמי בתקופת הבטא, והחברה גם מתכננת לשחרר בעתיד את cloudflare/auto-best, שלא מתחשב בהוצאה ובוחר את האיכות הגבוהה ביותר.

מקורות: Cloudflare Blog (Auto Router) · Cloudflare Blog (User Insights)