Cloudflare запустила Auto Router: AI Gateway сам обирає модель для кожного запиту

Cloudflare випустила Auto Router у складі AI Gateway у публічній беті. Це шар маршрутизації, який сам обирає модель для кожного запиту й більше не залишає вибір користувачеві. Достатньо вказати модель cloudflare/auto. За словами Cloudflare, внутрішнє використання компанії в середовищі OpenCode зменшило витрати до 30%, якщо порівнювати лише з опорою на найпотужніші моделі.

Що показує вимірювання

Cloudflare порівняла cloudflare/auto з Anthropic Claude Opus 5.5 і OpenAI GPT-6 Sol на внутрішньому бенчмарку, побудованому на робочих інструментах: електронна пошта, календар, Slack, файли, подорожі й фінанси. За результатами трьох спроб для 97 завдань роутер успішно виконав 252 з 291 спроби, що становить 86,6%, загальна вартість була 2,10 долара, а один успіх — 0,0084 долара. Claude Opus 5.5 досяг 96,6% за 5,91 долара, а GPT-6 Sol — 84,2% за 2,64 долара. Витрати роутера виявилися приблизно 80% від Sol і 35% від Opus.

Як ухвалюється рішення

Спочатку AI Gateway формує список моделей, які можуть обробити запит. Він фільтрує моделі за форматом, режимом запуску, даними авторизації, білінгом, правилами доступу та лімітами витрат, а несправних провайдерів тимчасово виключає. Потім класифікатор, запущений на Workers AI, читає останні повідомлення розмови, визначає тип завдання з 14 категорій і оцінює його за складністю, невизначеністю, важливістю та залежністю від контексту. Матриця балів пов’язує ці сигнали з результатами бенчмарку, після чого роутер обирає модель, чия вигода найвища: вигода обчислюється як очікувана якість мінус настроюваний штраф за витрати. На довгих агентних сесіях роутер також враховує читання й запис кешу, адже зміна моделі втрачає теплий контекст, а його повторний запис дорогий.

Виявлення зайвих витрат

Разом із роутером Cloudflare розширила User Insights, панель AI-трафіку, яка тепер позначає розмови, де обрана модель є надто потужною для завдання. Панель також показує, який користувач, агент або застосунок спричиняє ці витрати. Перегляд Potential Savings знаходить запити, виконання яких дешевшою моделлю не зашкодить якості, а аналіз завдань поділяє трафік на категорії: код, дослідження, письмо, узагальнення й аналіз даних. Класифікація асинхронна й не втручається в обробку запиту, тому не сповільнює відповідь, хоча аналіз трафіку відстає приблизно на один день. User Insights безкоштовний для користувачів AI Gateway. Cloudflare Access, який пов’язує трафік з авторизованими користувачами, безкоштовний для команди до 50 користувачів.

Чому це важливо

Більшість компаній уже обрали щоденні інструменти, проте витрати на AI зростають швидше за результат. Бюджет і жорсткі ліміти не вирішують усе, адже запит за запитом людина все одно має вирішувати, чи потрібна для узагальнення найпотужніша модель. Ідея Cloudflare полягає в тому, щоб це рішення ухвалював сам AI Gateway, оскільки через нього проходить кожен запит. Auto Router безкоштовний під час бети, а компанія на майбутнє також планує випуск cloudflare/auto-best, який не враховує витрати й обирає найвищу якість.

Джерела: Блог Cloudflare (Auto Router) · Блог Cloudflare (User Insights)