Aiven, açık ağırlıklı modellerle token maliyetlerini düşürdükten sonra LLM ağ geçidi oluşturuyor

Avrupa merkezli açık kaynak veritabanı hizmet sağlayıcısı Aiven, açık ağırlıklı modellere geçerek dahili yapay zeka token maliyetlerinin yüzde 80'ini tasarruf ettiğini söylüyor. Finlandiya merkezli şirket, hizmet olarak açık kaynak veritabanları barındırma ve sağlama üzerine işini kurdu ve son birkaç yılda makine öğrenimine yöneldi. The Register ile konuşan Aiven'in strateji başkan yardımcısı Ville Lehto, açık kaynak yapay zeka altyapısıyla uğraşırken farklı bulutlarda çalışabilen bir şey yapmanın kolay olmadığını söyledi. Ancak şirket, geliştiricilerine LLM'lere erişim verirken kendi token maliyetlerini yönetmek ve yapay zeka kullanımında kendi kaderini kontrol etmek istiyordu.

Ağ geçidi nasıl çalışıyor

Token-maxxing etrafındaki tartışma dalgasından sonra geliştiriciler genellikle maliyetlerini azaltmaya daha ilgili hale geldi; bunu Batı sınır modellerine daha ucuz Çinli alternatifler ve daha düşük maliyetli açık ağırlıklı modeller dahil olmak üzere bir model karışımı kullanarak yapıyorlar. Açık ağırlıklı modeller, ağırlıkları ve sapmaları başta olmak üzere öğrenilmiş parametrelerini herkese açık biçimde yayımlar ve sınır modellerinden daha düşük maliyetle yerel olarak çalıştırılabilir veya barındırılabilir. Örnekler arasında Meta'nın Llama ailesi, Alibaba Cloud'un Qwen ailesi, Çin'in DeepSeek'i, Mistral AI'nin Medium 3.5 ve Devstral modelleri ve Google'ın Gemma'sı yer alır. Lehto, token kullanımında az sayıda kullanıcının ağır kullanıcı olduğunu ve harcamalarının büyük bölümünün açık ağırlıklı modeller kullanılarak tasarruf edilebileceğini söyledi. Aiven'in katı token bütçeleri ile tokenları kullanmanın daha verimli bir yolu arasında bir seçimle karşı karşıya kaldığını ve dahili bir ağ geçidi uygulayarak ikincisini seçtiğini söyledi.

Aiven, ağ geçidini barındırdığı LiteLLM adlı açık kaynak çerçevesi etrafında oluşturdu. Bütçeleme ve erişim yönetimi gibi özellikler ekledi ve başka açık kaynak bileşenler de ekledi. Modelleri kiralık GPU'larda çalıştırıyor ve modelleri kendi altyapısında da barındırıyor. Lehto, Aiven'in sınır modellerini kullanmaya devam ettiğini, ancak yalnızca işi planlamaya yardımcı olmak için kullandığını söyledi. İşin gerçekten yapılması söz konusu olduğunda ise çok sayıda açık ağırlıklı model kullanıyor. İşin çoğunluğu açık ağırlıklı modellerle yapılıyor, ancak en kritik parçalar sınır modelleriyle planlanıyor. Ancak açık ağırlıklı ve sınır modellerinin performansı değişkenlik gösterdiği için görev başına maliyet gibi diğer metrikleri kullanmak da önemliydi, dedi. Şirket, ağır kullanıcılar arasında harcamanın yaklaşık yüzde 80 azaldığını gördüğünü söylüyor.

Müşteriler ve planlar

Aiven, müşterilerine token maliyetlerini yönetmelerine yardımcı olmak için ağ geçidini hizmet olarak sunmayı planlıyor; açık ağırlıklı modelleri iş akışlarına alıp çıkarmayı kolaylaştırarak bunu yapacak. Müşterileri arasında Alman e-ticaret şirketi Conrad, Birleşik Krallık ödeme işleme şirketi Dojo, siber güvenlik satıcısı Sophos ve iletişim firması Avaya yer alıyor. Lehto, Aiven'in kökeninin açık kaynak olduğunu, bu nedenle ağ geçidini hizmet olarak sunmanın kurumsal ihtiyaçlara uyduğunu söyledi. Şirket, yapay zeka kullanırken maliyetleri azaltmaya çalışan kuruluşlara yardım etmeye çalışan satıcılardan yalnızca biri olmaya hazırlanıyor.

Kaynaklar: The Register