Cloudflare-ը թողարկել է Auto Router. AI Gateway-ը յուրաքանչյուր հարցման համար մոդելն ինքն է ընտրում

Cloudflare-ը AI Gateway-ի կազմում Auto Router-ը թողարկել է հանրային բետայում։ Սա երթուղավորման շերտ է, որը յուրաքանչյուր հարցման համար մոդելն ինքն է ընտրում և ընտրությունը այլևս չի թողնում օգտատերին։ Բավական է որպես մոդել նշել cloudflare/auto։ Cloudflare-ի խոսքով՝ ընկերության ներքին օգտագործումը OpenCode-ի միջավայրում ծախսը նվազեցրել է մինչև 30%-ով, եթե համեմատենք միայն ամենահզոր մոդելների վրա հիմնվելու հետ։

Ինչ է ցույց տալիս չափումը

Cloudflare-ը cloudflare/auto-ն համեմատել է Anthropic-ի Claude Opus 5.5-ի և OpenAI-ի GPT-6 Sol-ի հետ ներքին բենչմարկում, որը կառուցված է աշխատանքային գործիքների վրա՝ էլփոստ, օրացույց, Slack, ֆայլեր, ճամփորդություն և ֆինանսներ։ 97 առաջադրանքի երեք-երեք փորձի արդյունքում երթուղիչը 291 փորձից 252-ը հաջողությամբ կատարեց՝ 86,6%, ընդհանուր արժեքը 2,10 դոլար էր, իսկ մեկ հաջողությունը՝ 0,0084 դոլար։ Claude Opus 5.5-ը հասավ 96,6%-ի՝ 5,91 դոլարով, GPT-6 Sol-ը՝ 84,2%-ի՝ 2,64 դոլարով։ Երթուղիչի ծախսը Sol-ի մոտ 80%-ն էր, իսկ Opus-ի՝ 35%-ը։

Ինչպես է կայացվում որոշումը

Սկզբում AI Gateway-ը կազմում է այն մոդելների ցանկը, որոնք կարող են սպասարկել հարցումը։ Այն ֆիլտրում է մոդելները ըստ ձևաչափի, գործարկման ռեժիմի, ավտորիզացիայի տվյալների, բիլինգի, մուտքի կանոնների և ծախսի սահմանների, իսկ խափանված պրովայդերներին ժամանակավորապես բացառում է։ Այնուհետև Workers AI-ում գործարկվող դասակարգիչը կարդում է զրույցի վերջին հաղորդագրությունները, որոշում է առաջադրանքի տեսակը 14 կատեգորիաներից և գնահատում է այն ըստ բարդության, անորոշության, կարևորության և կոնտեքստից կախվածության։ Միավորների մատրիցը այս ազդանշանները կապում է բենչմարկի արդյունքների հետ, որից հետո երթուղիչը ընտրում է այն մոդելը, որի օգուտը ամենաբարձրն է. օգուտը հաշվարկվում է սպասվող որակից՝ հանելով կարգավորվող ծախսի տույժը։ Երկար ագենտային սեսիաներում երթուղիչը հաշվի է առնում նաև քեշի ընթերցումն ու գրառումը, քանի որ մոդելի փոխումը կորցնում է տաք կոնտեքստը, և այն նորից գրելը թանկ է։

Ավելորդ ծախսի հայտնաբերում

Երթուղիչի հետ միասին Cloudflare-ը ընդլայնել է User Insights-ը՝ AI երթևեկության վահանակը, որն այժմ նշում է այն զրույցները, որտեղ ընտրված մոդելը առաջադրանքի համար չափազանց հզոր է։ Վահանակը նաև ցույց է տալիս, թե որ օգտատերը, ագենտը կամ հավելվածն է առաջացնում այդ ծախսը։ Potential Savings դիտումը գտնում է այն հարցումները, որոնց էժան մոդելով կատարումը չի վնասի որակին, իսկ առաջադրանքների վերլուծությունը երթևեկությունը բաժանում է կատեգորիաների՝ կոդ, հետազոտություն, գրություն, ամփոփում և տվյալների վերլուծություն։ Դասակարգումը ասինխրոն է և չի միջամտում հարցման մշակմանը, ուստի չի դանդաղեցնում պատասխանը, սակայն վերլուծությունը երթևեկից հետ է մնում մոտ մեկ օրով։ User Insights-ը AI Gateway-ի օգտատերերի համար անվճար է։ Cloudflare Access-ը, որը երթևեկությունը կապում է ավտորիզացված օգտատերերի հետ, անվճար է մինչև 50 օգտատեր ունեցող թիմերի համար։

Ինչու է սա կարևոր

Ընկերությունների մեծ մասն արդեն ընտրել է առօրյա գործիքները, սակայն AI-ի ծախսը արդյունքից ավելի արագ է աճում։ Բյուջեն և խիստ սահմանները չեն լուծում ամեն ինչ, քանի որ հարցում առ հարցում մարդը դեռ պետք է որոշի՝ արդյոք ամփոփմանը պետք է ամենահզոր մոդելը։ Cloudflare-ի գաղափարն այն է, որ այս որոշումը կայացնի հենց AI Gateway-ը, քանի որ նրա միջով անցնում է յուրաքանչյուր հարցում։ Auto Router-ը բետայի ընթացքում անվճար է, իսկ ընկերությունը ապագայում նախատեսում է թողարկել նաև cloudflare/auto-best, որը հաշվի չի առնում ծախսը և ընտրում է ամենաբարձր որակը։

Աղբյուրներ: Cloudflare բլոգ (Auto Router) · Cloudflare բլոգ (User Insights)