Revolut deyir ki, öz hostinqində işlədilən GLM modelləri AI kodlaşdırma inferens xərclərini təxminən 90 faiz azaldıb

Revolut deyir ki, ticarət xidmətlərinə, məsələn Claude-a, əsasən güvənmək əvəzinə öz hostinqində işləyən modelləri standart halına gətirərək AI kodlaşdırma inferens xərclərini bir ildən az müddətdə təxminən 90 faiz azaldıb. Britaniya fintex şirkətinin ops və infrastruktur rəhbəri David Abitbol nəticələri keçən ay Nyu Yorkda keçirilən AI Engineer konfransında təqdim edib. Şirkət həmçinin təxminən 2 000 mühəndisə AI kodlaşdırma alətlərini təqdim etdikdən sonra kodlaşdırma vaxtında 60 faiz, lead time göstəricisində isə 70 faiz yaxşılaşma qeydə alıb.

Xərc təzyiqi öz hostinqə keçidə səbəb oldu

Revolut əvvəlcə GLM-5.1 qəbul etdi, sonra isə indi 56 Nvidia B200 GPU ilə xidmət göstərdiyi GLM-5.3-ə keçdi. GLM-ə keçməzdən əvvəl Revolut AI ilə təcrübə aparır, 2025-ci ilin əvvəlində Gemini, 2026-cı ilin əvvəlində isə Claude Code yerləşdirirdi. Abitbol deyib ki, şirkət AI xərclərinə qarşı çox skeptik idi: mühəndislər ayda 1 000 dollar və ya 10 000 dollar xərcləyir, lakin o qədər də yüksək ROI əldə etmirdilər, ona görə alətlər sərt büdcə məhdudiyyətləri ilə işə salındı.

Mühəndislərin yalnız məhdud sayda tokenə çıxışı olduğu üçün Revolut öz modellərini öz hostinqində işlətməyi araşdırmağa başladı. Hər milyon giriş və çıxış tokeni üçün 0,30 dollar qiyməti ilə GLM 5.1-in öz hostinqində işlədilməsi OpenAI-nin Codex və ya Anthropic-in Claude Code xidmətlərindən istifadənin təxminən onda birinə başa gəlirdi. Abitbol deyib ki, tokenlər ucuz olanda komandalar onlardan neçə istifadə etdikləri və ya nə üçün istifadə etdikləri barədə narahat olmağı dayandırırlar. Ən böyük darboğaz kodun özü deyildi, o qeyd edib. Ən böyük fayda AI modellərinin debugging və Jira və Confluence tapşırıqları ilə məşğul olmasına imkan verməkdən gəldi.

GLM-in böyük miqyasda təqdim edilməsi

GLM 5.1 Çinli açıq çəkili model inkişaf etdiricisi Z.ai tərəfindən hazırlanıb. Modelin ümumilikdə təxminən 754 milyard parametri var, hər yaradılan token üçün 40 milyardı aktivləşir və çəkiləri saxlamaq üçün təxminən 380 GB GPU yaddaşı, həmçinin dəqiqlikdən asılı olaraq hər istifadəçi üçün konteksti saxlamaq üçün əlavə 6-dan 26 GB-a qədər yaddaş tələb edir. Revolut GLM-5.3-ü böyük miqyasda xidmət göstərmək üçün 56 Nvidia B200 GPU yerləşdirdi; bu, GPU sayına görə yeddi ədəd səkkiz GPU-lu DGX B200 sisteminə bərabərdir.

Abitbol deyib ki, ən böyük performans artımı GPU əlavə etməkdən deyil, modelin hiperparametrlərinin tənzimlənməsindən, NVFP4 kvantizasiyasına keçməkdən, disaggregated prefill və decode tətbiqindən və kontekst uzunluqlarının tənzimlənməsindən gəlib. O xəbərdarlıq edib ki, bir milyon tokenlik kontekst pəncərəsi belə böyük pəncərəni mütləq faydalı və ya səmərəli etmir və əslində 256 000 token kifayətdir. Optimizasiyalarla Revolut təxminən 256 000 tokenlik kontekst pəncərələrində ilk tokenə qədər vaxtı 3 saniyədən az etməyi və saniyədə təxminən 200 token generasiya sürətini əldə edib. Abitbol deyib ki, saat 17:00-dan sonra daxil olan mühəndislər saniyədə təxminən 800 tokenə daha yaxın sürət əldə edirlər.

Model marşrutlaşdırması və təhlükəsizlik

GLM GPT və ya Claude-u tamamilə əvəz etməyib. Çin modeli yalnız mətn əsaslıdır, ona görə UI işləri kimi şeylər üçün ideal deyil. Revolut kod generasiyasını GLM-də saxlayaraq vision sorğularını Gemini və ya GPT Luna kimi modellərə yönləndirmək üçün model marşrutlaşdırıcısından istifadə edib. Abitbol deyib ki, Revolut-da açıq mənbə indi prioritetdir və onun iqtisadiyyatı əlverişlidir: ay sonunda flat billing və bill shock yoxdur, frontier modellər isə istisnadır.

Abitbol Çin açıq çəkili modellərinin məxfilik və təhlükəsizlik səbəblərinə görə narahatlıq doğura biləcəyini etiraf edib, lakin əsas narahatlığın onlara Çindən işləyən API-lər vasitəsilə çıxış əldə etmək olduğunu vurğulayıb. Onlar on-prem və ya regional cloud resurslarında işlədiləndə narahat olmağa heç bir səbəb yoxdur, o deyib.

Mənbələr: The Register