Aiven-ը ստեղծում է LLM դարպաս՝ բաց քաշային մոդելներով տոկենների ծախսը կրճատելուց հետո

Եվրոպական բաց կոդով տվյալների բազայի ծառայություններ մատուցող Aiven ընկերությունը հայտնում է, որ բաց քաշային մոդելներին անցնելով՝ ներքին մակարդակում 80 տոկոսով խնայել է AI տոկենների ծախսը։ Ֆինլանդիայում գտնվող ընկերությունը իր բիզնեսը կառուցել է բաց կոդով տվյալների բազաների հոսթինգի և ծառայությունների վրա, իսկ վերջին մի քանի տարիներին ընդլայնվել է մեքենայական ուսուցման ոլորտում։ The Register-ի հետ զրույցում Aiven-ի ռազմավարության փոխնախագահ Վիլլե Լեհտոն ասել է, որ բաց կոդով AI ենթակառուցվածքի հետ աշխատելիս հեշտ չէ ստեղծել մի բան, որը կարող է աշխատել տարբեր ամպային հարթակներում։ Սակայն մշակողներին LLM-ներ տրամադրելիս ընկերությունը ցանկանում էր կառավարել իր տոկենների ծախսը և վերահսկել իր ճակատագիրը AI օգտագործման հարցում։

Ինչպես է աշխատում դարպասը

token-maxxing-ի շուրջ բանավեճերի ալիքից հետո մշակողները ընդհանուր առմամբ ավելի շատ հետաքրքրվել են ծախսերը կրճատելով՝ մոդելների խառնուրդ օգտագործելով, այդ թվում՝ արևմտյան սահմանային մոդելների ավելի էժան չինական այլընտրանքները և բաց քաշային մոդելները, որոնք ավելի ցածր արժեք ունեն։ Բաց քաշային մոդելներն ունեն հրապարակային կերպով թողարկված սովորած պարամետրեր՝ հիմնականում կշիռներն ու շեղումները, և կարող են աշխատել տեղային կամ հոսթինգով՝ ավելի ցածր արժեքով, քան OpenAI-ի և Anthropic-ի սահմանային մոդելները։ Օրինակները ներառում են Meta-ի Llama ընտանիքը, Alibaba Cloud-ի Qwen ընտանիքը, Չինաստանի DeepSeek-ը, Mistral AI-ի Medium 3.5-ը և Devstral-ը, ինչպես նաև Google-ի Gemma-ն։ Լեհտոն ասել է, որ տոկենների օգտագործման հարցում օգտատերերի մի մասը ինտենսիվ օգտատերեր են, և նրանց ծախսերի մեծ մասը կարող է խնայվել բաց քաշային մոդելների օգտագործմամբ։ Նա ասել է, որ Aiven-ը ընտրության առջև է կանգնել՝ խիստ տոկենային բյուջեներ, թե տոկենների օգտագործման ավելի արդյունավետ եղանակ, և նախընտրել է վերջինը՝ ներքին դարպաս ներդնելով։

Aiven-ը իր դարպասը կառուցել է բաց կոդով LiteLLM շրջանակի շուրջ, որը հոսթ է արել։ Այն ավելացրել է այնպիսի հնարավորություններ, ինչպիսիք են բյուջետավորումը և մուտքի կառավարումը, և ավելացրել է այլ բաց կոդով բաղադրիչներ։ Մոդելները աշխատում են վարձակալված GPU-ների վրա և ինքն էլ հոսթավորում է դրանք։ Լեհտոն ասել է, որ Aiven-ը շարունակել է օգտագործել սահմանային մոդելները, բայց միայն աշխատանքը պլանավորելու համար։ Երբ խոսքը գնում է իրականում ինչ-որ բան անելու մասին, այն օգտագործում է բաց քաշային մոդելների մեծ քանակ։ Աշխատանքի մեծ մասը կատարվում է բաց քաշային մոդելներով, բայց ամենակարևոր հատվածները պլանավորվում են սահմանային մոդելներով։ Սակայն քանի որ բաց քաշային և սահմանային մոդելների կատարողականությունը տարբերվում է, կարևոր է եղել նաև այլ չափանիշներ օգտագործել, ինչպիսին է առաջադրանքի արժեքը, ասել է նա։ Ընկերությունը հայտնում է, որ ինտենսիվ օգտատերերի շրջանում ծախսը նվազել է մոտ 80 տոկոսով։

Հաճախորդները և պլանները

Aiven-ը պլանավորում է դարպասը հաճախորդներին առաջարկել որպես ծառայություն՝ օգնելու նրանց կառավարել տոկենների ծախսը՝ բաց քաշային մոդելները աշխատանքային հոսքերում ավելի հեշտ փոխարինելով։ Նրա հաճախորդների թվում են գերմանական էլեկտրոնային առևտրի Conrad ընկերությունը, Մեծ Բրիտանիայի վճարումների մշակման Dojo ընկերությունը, կիբեռանվտանգության Sophos վաճառողը և հաղորդակցության Avaya ընկերությունը։ Լեհտոն ասել է, որ քանի որ Aiven-ի ժառանգությունը բաց կոդում է, դարպասը որպես ծառայություն առաջարկելը համապատասխանում է ձեռնարկությունների կարիքներին։ Ընկերությունը պետք է լինի միայն այն վաճառողներից մեկը, որոնք փորձում են օգնել կազմակերպություններին կրճատել ծախսերը AI օգտագործման ժամանակ։

Աղբյուրներ: The Register