Cloudflare-მა Auto Router გაუშვა: AI Gateway ყოველი მოთხოვნისთვის მოდელს თავად ირჩევს

Cloudflare-მა AI Gateway-ის შემადგენლობაში Auto Router საჯარო ბეტაში გამოუშვა. ეს მარშრუტიზაციის ფენაა, რომელიც ყოველი მოთხოვნისთვის მოდელს თავად ირჩევს და არჩევანს მომხმარებელს აღარ ტოვებს. საკმარისია მოდელად cloudflare/auto მიუთითო. Cloudflare-ის თქმით, კომპანიის შიდა გამოყენებამ OpenCode-ის გარემოში ხარჯი 30%-მდე შეამცირა, თუ შედარებას მხოლოდ ყველაზე ძლიერ მოდელებზე დაყრდნობასთან გავაკეთებთ.

რას აჩვენებს გაზომვა

Cloudflare-მა cloudflare/auto შეადარა Anthropic-ის Claude Opus 5.5-ს და OpenAI-ის GPT-6 Sol-ს შიდა ბენჩმარკზე, რომელიც სამუშაო ხელსაწყოებზეა აგებული: ელფოსტა, კალენდარი, Slack, ფაილები, მოგზაურობა და ფინანსები. 97 დავალების სამ-სამი ცდის შედეგად როუტერმა 291 ცდიდან 252 წარმატებით შეასრულა, რაც 86,6%-ია, ჯამური ღირებულება 2,10 დოლარი იყო, ერთი წარმატება კი 0,0084 დოლარი. Claude Opus 5.5-მა 96,6% მიაღწია 5,91 დოლარად, GPT-6 Sol-მა კი 84,2% 2,64 დოლარად. როუტერის ხარჯი Sol-ის დაახლოებით 80% და Opus-ის 35% აღმოჩნდა.

როგორ მიიღება გადაწყვეტილება

ჯერ AI Gateway ადგენს იმ მოდელების სიას, რომლებსაც მოთხოვნის მოღება შეუძლიათ. ის ფილტრავს მოდელებს ფორმატის, გაშვების რეჟიმის, ავტორიზაციის მონაცემების, ბილინგის, წვდომის წესებისა და ხარჯის ლიმიტების მიხედვით, ხოლო გაუმართავ პროვაიდერებს დროებით გამორიცხავს. შემდეგ Workers AI-ზე გაშვებული კლასიფიკატორი კითხულობს საუბრის ბოლო შეტყობინებებს, ადგენს დავალების ტიპს 14 კატეგორიიდან და აფასებს მას სირთულის, გაურკვევლობის, მნიშვნელობისა და კონტექსტზე დამოკიდებულების მიხედვით. ქულების მატრიცა ამ სიგნალებს ბენჩმარკის შედეგებს უკავშირებს, რის შემდეგაც როუტერი იმ მოდელს ირჩევს, რომლის სარგებელი ყველაზე მაღალია: სარგებელი მოსალოდნელ ხარისხს მორგებადი ხარჯის ჯარიმის გამოკლებით გამოითვლება. გრძელ აგენტურ სესიებზე როუტერი ქეშის წაკითხვასა და ჩაწერასაც ითვალისწინებს, რადგან მოდელის შეცვლა თბილ კონტექსტს კარგავს და მისი ხელახლა დაწერა ძვირია.

ზედმეტი ხარჯის პოვნა

როუტერთან ერთად Cloudflare-მა User Insights გააფართოვა, AI ტრაფიკის დაფა, რომელიც ახლა იმ საუბრებს აღნიშნავს, სადაც არჩეული მოდელი დავალებისთვის ზედმეტად ძლიერია. დაფა ასევე აჩვენებს, რომელი მომხმარებელი, აგენტი ან აპლიკაცია იწვევს ამ ხარჯს. Potential Savings ხედი იმ მოთხოვნებს პოულობს, რომელთა იაფი მოდელით შესრულებაც ხარისხს არ დააზარალებს, ხოლო დავალებების ანალიზი ტრაფიკს კატეგორიებად ყოფს: კოდი, კვლევა, წერა, შეჯამება და მონაცემთა ანალიზი. კლასიფიკაცია ასინქრონულია და მოთხოვნის დამუშავების დროს არ ერევა, ამიტომ პასუხს არ ანელებს, თუმცა ანალიზი ტრაფიკს დაახლოებით ერთი დღით ჩამორჩება. User Insights AI Gateway-ის მომხმარებლებისთვის უფასოა. Cloudflare Access, რომელიც ტრაფიკს ავტორიზებულ მომხმარებლებს უკავშირებს, 50 მომხმარებლამდე გუნდისთვის უფასოა.

რატომ არის ეს მნიშვნელოვანი

კომპანიების უმეტესობამ უკვე შეარჩია ყოველდღიური ხელსაწყოები, თუმცა AI-ის ხარჯი შედეგზე სწრაფად იზრდება. ბიუჯეტი და მკაცრი ლიმიტები ყველაფერს ვერ წყვეტს, რადგან მოთხოვნა-მოთხოვნა მაინც ადამიანმა უნდა გადაწყვიტოს, სჭირდება თუ არა შეჯამებას ყველაზე ძლიერი მოდელი. Cloudflare-ის იდეა ის არის, რომ ეს გადაწყვეტილება თავად AI Gateway-მა მიიღოს, რადგან მას ყოველი მოთხოვნა გადის. Auto Router ბეტის დროს უფასოა, კომპანია კი მომავალში cloudflare/auto-best-ის გამოშვებასაც გეგმავს, რომელიც ხარჯს არ ითვალისწინებს და უმაღლეს ხარისხს ირჩევს.

წყაროები: Cloudflare Blog (Auto Router) · Cloudflare Blog (User Insights)