Revolut-ը ինքնահոսթինգ GLM մոդելներով AI կոդավորման ծախսերը կրճատել է մոտ 90%-ով

Revolut-ը ասում է, որ մեկ տարուց պակաս ժամանակում AI կոդավորման եզրակացության ծախսերը կրճատել է մոտ 90 տոկոսով՝ ինքնահոսթինգ մոդելները հիմնական տարբերակ դարձնելով, այլ ոչ թե հիմնականում հույսը դնելով Claude-ի նման կոմերցիոն ծառայությունների վրա։ Բրիտանական ֆինտեխ ընկերության ops և infrastructure ղեկավար Դեյվիդ Աբիտբոլը արդյունքները ներկայացրել է Նյու Յորքում անցած ամիս կայացած AI Engineer կոնֆերանսում։ Ընկերությունը նաև հայտնել է, որ AI կոդավորման գործիքները մոտ 2,000 ինժեներների շրջանում ներդնելուց հետո կոդավորման ժամանակը բարելավվել է 60 տոկոսով, իսկ առաջնորդման ժամանակը՝ 70 տոկոսով։

Ծախսային ճնշումը հանգեցրեց ինքնահոսթինգի

Revolut-ը սկզբում ընդունել է GLM-5.1, ապա անցել GLM-5.3-ի, որը այժմ սպասարկում է 56 Nvidia B200 GPU-ով։ GLM-ին անցնելուց առաջ Revolut-ը փորձարկել է AI, 2025 թվականի սկզբին ներդնելով Gemini, իսկ 2026 թվականի սկզբին՝ Claude Code։ Աբիտբոլը ասել է, որ ընկերությունը բավական կասկածամիտ էր AI-ի ծախսերի նկատմամբ, քանի որ ինժեներները ամսական 1,000 դոլար կամ 10,000 դոլար էին ծախսում՝ առանց նկատելի եկամտաբերության, ուստի գործիքները գործարկել է խիստ բյուջետային սահմանափակումներով։

Քանի որ ինժեներները մուտք ունեին միայն սահմանափակ քանակի տոկեններ, Revolut-ը սկսեց ուսումնասիրել սեփական մոդելների ինքնահոսթինգը։ Մեկ միլիոն մուտքային և ելքային տոկենի համար 0.30 դոլարով GLM 5.1-ի ինքնահոսթինգը արժեր մոտ տասներորդ մասը՝ OpenAI-ի Codex-ի կամ Anthropic-ի Claude Code-ի օգտագործման համեմատ։ Աբիտբոլը ասել է, որ երբ տոկենները էժան են, թիմերը դադարում են անհանգստանալ, թե քանիսն են օգտագործում կամ ինչի համար են օգտագործում։ Ամենամեծ խոչընդոտը ինքը կոդը չէր, նշել է նա։ Ամենամեծ աճը եկավ AI մոդելներին թույլ տալով զբաղվել դեբագինգով և Jira և Confluence խնդիրներով։

GLM-ի սպասարկումը մեծ մասշտաբով

GLM 5.1-ը մշակվել է չինական բաց կշիռներով մոդելների մշակող Z.ai-ի կողմից։ Այն ունի մոտ 754 միլիարդ ընդհանուր պարամետր, որոնցից յուրաքանչյուր ստեղծված տոկենի համար ակտիվանում է 40 միլիարդը, և պահանջում է մոտ 380 ԳԲ GPU հիշողություն միայն կշիռները պահելու համար, գումարած ևս 6-ից 26 ԳԲ յուրաքանչյուր օգտատիրոջ համար՝ կոնտեքստը պահելու համար՝ կախված ճշտությունից։ Revolut-ը ներդրել է 56 Nvidia B200 GPU՝ GLM-5.3-ը մեծ մասշտաբով սպասարկելու համար, ինչը GPU-ների քանակով համարժեք է յոթ ութ-GPU DGX B200 համակարգերի։

Աբիտբոլը ասել է, որ ամենամեծ արդյունավետության աճը չի եկել GPU-ների ավելացումից, այլ մոդելի հիպերպարամետրերի կարգավորումից՝ միաժամանակ NVFP4 քվանտիզացիայի անցմամբ, disaggregated prefill և decode իրականացմամբ և կոնտեքստի երկարությունների կարգավորմամբ։ Նա զգուշացրել է, որ մեկ միլիոն տոկենի կոնտեքստային պատուհանը պարտադիր չէ, որ այդպիսի մեծ պատուհանը դարձնի օգտակար կամ արդյունավետ, և ասել է, որ իրականում պետք է 256,000 տոկեն։ Օպտիմիզացիաների շնորհիվ Revolut-ը հասել է 3 վայրկյանից պակաս առաջին տոկենի ժամանակ՝ մոտ 256,000 տոկեն կոնտեքստային պատուհաններում, և սերնդի արագություն՝ մոտ 200 տոկեն վայրկյանում։ Աբիտբոլը ասել է, որ 17:00-ից հետո մուտք գործող ինժեներները մոտենում են 800 տոկեն վայրկյանում արագությանը։

Մոդելների ուղղորդում և անվտանգություն

GLM-ը լիովին չի փոխարինել GPT-ին կամ Claude-ին։ Չինական մոդելը միայն տեքստային է, ուստի այն իդեալական չէ UI աշխատանքի նման բաների համար։ Revolut-ը օգտագործել է մոդելների ուղղորդիչ՝ տեսողական հարցումները ուղղելու Gemini կամ GPT Luna նման մոդելներին, մինչդեռ կոդի գեներացիան մնաց GLM-ի վրա։ Աբիտբոլը ասել է, որ open source-ը այժմ առաջնահերթություն է Revolut-ում, և դրա տնտեսագիտությունը բարենպաստ է՝ հարթ հաշվարկով և առանց ամսվա վերջում անակնկալ հաշվի, իսկ առաջավոր մոդելները բացառություն են։

Աբիտբոլը ընդունել է, որ չինական բաց կշիռներով մոդելները կարող են մտահոգություն առաջացնել գաղտնիության և անվտանգության պատճառներով, բայց նա ընդգծել է, որ հիմնական մտահոգությունը դրանք Չինաստանից աշխատող API-ների միջոցով մուտք գործելն է։ Երբ դրանք գործարկվում են on-prem կամ տարածաշրջանային ամպային ռեսուրսներում, անհանգստանալու ոչինչ չկա, ասել է նա։

Աղբյուրներ՝ The Register