Revolut, kendi barındırdığı GLM modelleriyle yapay zeka kodlama maliyetlerini yüzde 90 azalttığını söylüyor

Revolut, kendi barındırdığı modelleri Claude gibi ticari hizmetlere öncelikle dayanmak yerine varsayılan hale getirerek bir yıldan kısa sürede yapay zeka kodlama çıkarım maliyetlerini yaklaşık yüzde 90 azalttığını söylüyor. İngiliz finans teknolojisi şirketinde operasyon ve altyapı lideri David Abitbol, sonuçları geçen ay New York'taki AI Engineer konferansında anlattı. Şirket ayrıca yaklaşık 2.000 mühendise yapay zeka kodlama araçları dağıttıktan sonra kodlama süresinde yüzde 60 ve teslim süresinde yüzde 70 iyileşme bildirdi.

Maliyet baskısı kendi barındırmaya yöneltti

Revolut önce GLM-5.1'i benimsedi, ardından şu an 56 Nvidia B200 GPU kullanarak sunduğu GLM-5.3'e geçti. GLM'e geçmeden önce Revolut yapay zeka ile denemeler yapıyordu; 2025 başlarında Gemini, 2026 başlarında Claude Code dağıtmıştı. Abitbol, şirketin yapay zeka maliyeti konusunda oldukça kuşkucu olduğunu; mühendislerin ayda 1.000 dolar veya 10.000 dolar harcadığını, buna karşılık pek fazla yatırım getirisi olmadığını söyledi; bu nedenle araçları sıkı bütçe sınırlarıyla başlattı.

Mühendislerin yalnızca sınırlı sayıda token erişimi olduğu için Revolut kendi modellerini kendi sunucusunda barındırmayı araştırmaya başladı. Giriş ve çıkış tokenları için milyon başına 0,30 dolar maliyetle GLM 5.1'i kendi sunucusunda barındırmak, OpenAI Codex veya Anthropic Claude Code kullanmaya göre yaklaşık onda bir maliyete denk geldi. Abitbol, tokenlar ucuz olduğunda ekiplerin kaç token kullandıkları veya ne için kullandıkları konusunda endişelenmeyi bıraktığını söyledi. En büyük darboğaz kodun kendisi değildi, dedi. En büyük kazanımlar, yapay zeka modellerinin hata ayıklama ile Jira ve Confluence biletleriyle ilgilenmesinden geldi.

GLM'yi ölçekte sunmak

GLM 5.1, Çinli açık ağırlıklı model geliştiricisi Z.ai tarafından geliştirildi. Toplam yaklaşık 754 milyar parametreye sahip; üretilen her token için 40 milyar parametre etkinleştiriliyor ve yalnızca ağırlıkları tutmak için yaklaşık 380 GB GPU belleği, hassasiyete bağlı olarak kullanıcı başına bağlamı korumak için ek 6 ila 26 GB gerekiyor. Revolut, GLM-5.3'ü ölçekte sunmak için 56 Nvidia B200 GPU dağıttı; bu, GPU sayısı bakımından yedi adet sekiz GPU'lu DGX B200 sistemine eşdeğer.

Abitbol, en büyük performans kazanımlarının GPU eklemekten değil; model hiperparametrelerini ayarlamaktan, NVFP4 nicemlemesine geçmekten, ayrışık ön doldurma ve çözme uygulamaktan ve bağlam uzunluklarını ayarlamaktan geldiğini söyledi. Bir milyon tokenlık bağlam penceresinin mutlaka böyle büyük bir pencereyi yararlı veya verimli kılmadığını uyardı ve gerçekten ihtiyaç duyulanın 256.000 token olduğunu söyledi. Optimizasyonlarla Revolut, yaklaşık 256.000 tokenlık bağlam pencerelerinde 3 saniyenin altında ilk token süresi ve saniyede yaklaşık 200 token üretim hızı elde etti. Abitbol, saat 17.00'den sonra oturum açan mühendislerin saniyede yaklaşık 800 tokene daha yakın hız aldığını söyledi.

Model yönlendirme ve güvenlik

GLM, GPT veya Claude modellerinin yerini tamamen almadı. Çinli model yalnızca metin tabanlı olduğu için kullanıcı arayüzü çalışması gibi işler için ideal değil. Revolut, görüntü sorgularını Gemini veya GPT Luna gibi modellere yönlendirmek, kod üretimi GLM ile sürdürmek için bir model yönlendirici kullandı. Abitbol, açık kaynağın artık Revolut için bir öncelik olduğunu ve ekonomisinin uygun olduğunu; ay sonunda sabit faturalama ve fatura şoku olmadığını, frontier modellerin istisna olduğunu söyledi.

Abitbol, Çinli açık ağırlıklı modellerin gizlilik ve güvenlik nedenleriyle endişe kaynağı olabileceğini kabul etti; ancak asıl endişenin Çin'de çalışan API'ler üzerinden bunlara erişim olduğunu vurguladı. Şirket içi veya bölgesel bulut kaynaklarında çalıştırıldığında endişe edilecek bir şey olmadığını söyledi.

Kaynaklar: The Register