Cloudflare Auto Router'ı yayına aldı: AI Gateway her istek için modeli kendi seçiyor

Cloudflare, AI Gateway yapısı içinde Auto Router'ı genel betada yayımladı. Bu, her istek için modeli kendi seçen bir yönlendirme katmanıdır; seçim kullanıcıya kalmaz. Model olarak cloudflare/auto belirtmeniz yeterlidir. Cloudflare'e göre, OpenCode ortamındaki iç kullanım, yalnızca en güçlü modellere kıyasla maliyeti %30'a kadar azalttı.

Ölçüm ne gösteriyor

Cloudflare, cloudflare/auto'yu Anthropic'in Claude Opus 5.5 ve OpenAI'nin GPT-6 Sol modelleriyle, iş araçları üzerine kurulu iç kıyaslamada karşılaştırdı: e-posta, takvim, Slack, dosyalar, seyahat ve finans. 97 görevin üçer denemesinde yönlendirici 291 denemeden 252'sini başarıyla tamamladı (%86,6); toplam maliyet 2,10 dolar, başarı başına 0,0084 dolar oldu. Claude Opus 5.5 5,91 dolarla %96,6'ya, GPT-6 Sol 2,64 dolarla %84,2'ye ulaştı. Yönlendiricinin maliyeti Sol'un yaklaşık %80'i ve Opus'un %35'i olarak gerçekleşti.

Karar nasıl veriliyor

Önce AI Gateway, isteği alabilecek modellerin listesini oluşturur. Modelleri biçim, çalıştırma modu, yetkilendirme, faturalandırma, erişim kuralları ve maliyet limitlerine göre filtreler; arızalı sağlayıcıları geçici devre dışı bırakır. Ardından Workers AI üzerinde çalışan sınıflandırıcı, konuşmanın son mesajlarını okuyup görev türünü 14 kategoriden belirler; görevi zorluk, belirsizlik, önem ve bağlam bağımlılığına göre değerlendirir. Puan matrisi bu sinyalleri kıyaslama sonuçlarıyla ilişkilendirir; yönlendirici en yüksek faydalı modeli seçer: fayda, beklenen kaliteden ayarlanabilir maliyet cezası çıkarılarak hesaplanır. Uzun ajan oturumlarında yönlendirici önbellek okuma/yazmayı da hesaba katar; çünkü model değişimi sıcak bağlamı kaybettirir ve yeniden yazmak pahalıdır.

Aşırı maliyeti bulma

Yönlendiriciyle birlikte Cloudflare, User Insights'ı genişletti; AI trafiği panosu artık seçilen modelin görev için fazla güçlü olduğu konuşmaları işaretliyor. Pano, bu maliyete hangi kullanıcı, ajan veya uygulamanın yol açtığını da gösteriyor. Potential Savings görünümü, daha ucuz modelle çalıştırılınca kaliteyi bozmayacak istekleri bulur; görev analizi trafiği kod, araştırma, yazma, özetleme ve veri analizi kategorilerine ayırır. Sınıflandırma asenkron çalışır ve istek işleme sürecine karışmaz; yanıtı yavaşlatmaz, ancak analiz yaklaşık bir gün geriden gelir. User Insights, AI Gateway kullanıcıları için ücretsizdir. Trafiği yetkili kullanıcılara bağlayan Cloudflare Access, 50 kullanıcıya kadar ekipler için ücretsizdir.

Bu neden önemli

Çoğu şirket günlük araçlarını seçti, ancak AI maliyeti sonuçtan hızlı artıyor. Bütçe ve katı limitler yeterli değil; her istekte en güçlü modelin özetlemeye gerek olup olmadığına yine insan karar vermeli. Cloudflare'in fikri, her istek onun üzerinden geçtiği için bu kararı AI Gateway'in vermesi. Auto Router beta boyunca ücretsiz; şirket gelecekte maliyeti hesaba katmayan ve en yüksek kaliteyi seçen cloudflare/auto-best'i de yayımlamayı planlıyor.

Kaynaklar: Cloudflare Blog (Auto Router) · Cloudflare Blog (User Insights)