Cloudflare Auto Router-i buraxdı: AI Gateway hər sorğu üçün modeli özü seçir

Cloudflare AI Gateway tərkibində Auto Router-i açıq betada buraxdı. Bu, hər sorğu üçün modeli özü seçən və seçimi istifadəçiyə buraxmayan marşrutlaşdırma qatıdır. Model kimi cloudflare/auto göstərmək kifayətdir. Cloudflare-in bildirdiyinə görə, OpenCode mühitində şirkətdaxili istifadə yalnız ən güclü modellərlə müqayisədə xərci 30%-ə qədər azaldıb.

Ölçmə nə göstərir

Cloudflare cloudflare/auto-nu Anthropic-in Claude Opus 5.5 və OpenAI-nin GPT-6 Sol ilə daxili benchmarkda müqayisə etdi; benchmark iş alətləri üzərində qurulub: e-poçt, təqvim, Slack, fayllar, səyahət və maliyyə. 97 tapşırığın hər biri üç cəhddən, router 291 cəhddən 252-ni uğurla yerinə yetirdi, bu 86,6%-dir, ümumi dəyəri 2,10 dollar, bir uğur isə 0,0084 dollar oldu. Claude Opus 5.5 5,91 dollara 96,6%-ə çatdı, GPT-6 Sol isə 2,64 dollara 84,2%. Routerin xərci Sol-un təxminən 80%-i və Opus-un 35%-i oldu.

Qərar necə verilir

Əvvəlcə AI Gateway sorğunu qəbul edə bilən modellərin siyahısını müəyyən edir. O, modelləri format, işə salınma rejimi, avtorizasiya, billing, giriş qaydaları və xərc limitlərinə görə filtrləyir, nasaz provayderləri müvəqqəti istisna edir. Sonra Workers AI-də işləyən klassifikator söhbətin son mesajlarını oxuyur, tapşırığın növünü 14 kateqoriyadan müəyyən edir və onu mürəkkəblik, qeyri-müəyyənlik, əhəmiyyət və kontekst asılılığına görə qiymətləndirir. Ballar matrisi bu siqnalları benchmark nəticələrinə bağlayır, bundan sonra router faydası ən yüksək olan modeli seçir: fayda gözlənilən keyfiyyətdən tənzimlənən xərc cəriməsi çıxılmaqla hesablanır. Uzun agent sessiyalarında router keş oxuma və yazmanı da nəzərə alır, çünki modelin dəyişdirilməsi isti konteksti itirir və onun yenidən yazılması bahadır.

Artıq xərcin aşkarlanması

Router ilə birlikdə Cloudflare User Insights-ı genişləndirdi. Bu, AI trafik panelidir və artıq seçilmiş modelin tapşırıq üçün həddindən artıq güclü olduğu söhbətləri işarələyir. Panel bu xərcə hansı istifadəçi, agent və ya tətbiqin səbəb olduğunu da göstərir. Potential Savings görünüşü keyfiyyətə zərər vermədən daha ucuz modellə yerinə yetirilə bilən sorğuları tapır, tapşırıqların analizi isə trafiki kateqoriyalara bölür: kod, araşdırma, yazı, xülasə və məlumatların analizi. Təsnifat asinxrondur, sorğunun emalına mane olmur və cavabı ləngitmir, lakin analiz trafikdən təxminən bir gün geri qalır. User Insights AI Gateway istifadəçiləri üçün pulsuzdur. Cloudflare Access, trafiki avtorizasiya olunmuş istifadəçilərlə əlaqələndirən, 50 istifadəçiyə qədər komanda üçün pulsuzdur.

Bu nə üçün vacibdir

Şirkətlərin çoxu gündəlik alətləri artıq seçib, lakin AI xərci nəticədən daha sürətlə artır. Büdcə və sərt limitlər hər şeyi həll etmir, çünki hər sorğu üçün xülasəyə ən güclü modelin lazım olub-olmadığını insan qərar verməlidir. Cloudflare-in ideyası bundadır ki, bu qərarı AI Gateway-in özü qəbul etsin, çünki hər sorğu ondan keçir. Auto Router beta dövründə pulsuzdur, şirkət isə gələcəkdə xərci nəzərə almayan və ən yüksək keyfiyyəti seçən cloudflare/auto-best-in buraxılmasını da planlaşdırır.

Mənbələr: Cloudflare Blog (Auto Router) · Cloudflare Blog (User Insights)