Ինչպես AI գործակալը կրճատեց AI-ի ծախսերը․ քեշի փորձարկում 6,53 միլիոն կանչով

Ծրագրավորող Thomson Nguy-ը նկարագրել է փորձարկում, որում իր FinOps գործակալ Tycho-ն, աշխատելով Opus 5.5-ի վրա, մեկ գնահատման աշխատանքի կանխատեսված արժեքը 6541 դոլարից իջեցրեց մոտ 600 դոլարի։ Դա տեղի ունեցավ գործակալին AI-ի ծախսերը վստահելուց չորս օր անց։ Աշխատանքը ներառում էր մոտ 6,53 միլիոն կանչ, որոնցից ամեն մեկը ուղարկում էր նույն հրահանգի մոտ 2800 տոկեն։

Առաջին փորձարկումը․ քեշը չէր աշխատում

Սկզբում այդ աշխատանքի համար ընտրվել էր Haiku-ն, սակայն Tycho-ն ստուգեց DeepSeek-ի երթուղին։ Առաջին փորձարկման ժամանակ նա ուղարկեց չորս հարցում նույնական նախածանցով, և բոլորը հայտնեցին զրո քեշավորված տոկեն։ Սխալ չկար, պարզապես ամեն կանչ գանձվում էր սովորական գնով։ Պատճառը երթուղավորումն էր․ Fireworks-ի հուշման քեշը տեղային է՝ յուրաքանչյուր պատճենի համար, ուստի նույն հրահանգների կրկնությունը չի օգտագործում քեշի գրառումը, եթե հաջորդ հարցումն ընկնում է այլ պատճենի վրա։

Tycho-ն փոխեց երթուղավորումն այնպես, որ հաջորդ հարցումները վերադառնան նույն պատճենին, և կրկնեց փորձարկումը։ Հինգ «տաք» կանչերում մեկ կանչի մոտ 2960 մուտքային տոկենից 2812-ը եկան քեշից։ Ութ հարցումից բաղկացած խմբաքանակը հայտնեց 23 677 մուտքային տոկենից 19 688 քեշավորված, ինչը համապատասխանում է մեկ սառը նախածանցի և յոթ «տաք» հարվածի։ Այս աշխատանքի համար կարևորն այն էր, որ քեշի կրկնակի օգտագործումը պահպանվեց նաև խմբաքանակային երթուղում։

Ինչ եղավ կանխատեսված հաշվի հետ

Նույն DeepSeek աշխատանքի համար ստացվեց չորս գնահատական․ սովորական կանչեր առանց քեշի՝ 6541 դոլար, խմբաքանակային ռեժիմ առանց քեշի՝ 3271 դոլար, սովորական կանչեր աշխատող քեշով՝ 1105 դոլար, և խմբաքանակային ռեժիմ աշխատող քեշով՝ մոտ 600 դոլար։ Մոդելը և 6,53 միլիոն կանչի ծավալը բոլոր չորս դեպքերում նույնն էին, փոխվում էր միայն հարցումների սպասարկման եղանակը։

Haiku-ի մոտ 2800 դոլարի գիծը գալիս է ավելի վաղ կարգավորումից՝ ավելի երկար չափանիշով, և հանդիսանում է հղման կետ, ոչ թե վերահսկվող չորսակողմ համեմատություն։ Իր նշումներում հեղինակը հավելում է, որ Haiku 4.5-ը գնահատման սկզբնական մոդելն էր, մինչև հունիսին արտադրությունը տեղափոխվեց Gemini, որ 300 ատոմի փորձարկումը գրանցեց 98,6% քեշի հարված, իսկ Haiku-ով գնահատված 43 747 ատոմը միջինը արժեց 0,000426 դոլար։

Ինչ չեն ասում այս թվերը

Հեղինակը հստակ նշում է, որ դոլարային գումարները ամբողջ աշխատանքի կանխատեսումներ են՝ արտածված փոքր փորձարկումներից, և ոչ թե ավարտված 6,53 միլիոն կանչի հաշիվ․ աշխատանքը այդ ծավալով չի գործարկվել ու չի գանձվել։ Նրա առաջարկած գործնական ստուգումը սա է․ նախքան կրկնվող հուշումներով ծանրաբեռնվածության ընդլայնումը ուղարկիր նույնական նախածանցներ, ստուգիր քեշավորված տոկենների քանակը, կրկնիր սեսիայի կապակցմամբ և առանձին փորձարկիր խմբաքանակային երթուղին։ Գնացուցակը ցույց է տալիս տոկենի անվանական սակագինը, իսկ այս փորձարկումները փոխում են ամբողջ աշխատանքի կանխատեսումը։

Հեղինակը արդյունքը նաև հեգնանքով է նկարագրում․ թանկ սահմանային մոդելը նշանակվեց պարզելու, թե որտեղ ընկերությունը կարող է ավելի քիչ ծախսել AI-ի վրա։ Anthropic-ը և OpenAI-ն առաջարկում են սահմանային ինտելեկտ, սակայն նույն ինտելեկտն այժմ օգտագործվում է հենց այդ լաբորատորիաների վրա ավելի քիչ գումար ծախսելու համար։