Aiven açıq çəkili modellərlə token xərclərini azaltdıqdan sonra LLM şlüzü qurur

Avropalı açıq mənbəli verilənlər bazası xidməti təminatçısı Aiven bildirir ki, açıq çəkili modellərə keçməklə daxili AI token xərclərinin 80 faizini qənaət edib. Finlandiyada yerləşən şirkət biznesini açıq mənbəli verilənlər bazalarını hostinq etmək və xidmət kimi təqdim etmək üzərində qurub və son bir neçə ildə maşın öyrənməsinə keçib. The Register-ə danışan Aiven-in strategiya üzrə vitse-prezidenti Ville Lehto bildirdi ki, açıq mənbəli AI infrastrukturu ilə işləyərkən fərqli buludlarda işləyə bilən bir şey yaratmaq asan iş deyil. Bununla belə, şirkət öz proqramçılarına LLM-lərə çıxış verməklə token xərclərini özü idarə etmək və AI istifadəsində öz taleyini öz əlində saxlamaq istəyirdi.

Şlüz necə işləyir

Token-maxxing ətrafında mübahisələr dalğasından sonra proqramçılar ümumilikdə xərclərini qarışıq modellər istifadə etməklə, o cümlədən Qərb qabaqcıl modellərinin daha ucuz Çin alternativləri və daha aşağı xərcli açıq çəkili modellər istifadə etməklə azaltmağa daha çox maraq göstəriblər. Açıq çəkili modellər öyrənilmiş parametrlərini, əsasən çəkilər və meyllərini ictimaiyyətə açıqlayıblar və yerli olaraq işlədilə və ya qabaqcıl modellərdən daha aşağı xərclə host edilə bilərlər. Nümunələrə Meta-nın Llama ailəsi, Alibaba Cloud-un Qwen ailəsi, Çinin DeepSeek-i, Mistral AI-nin Medium 3.5 və Devstral modelləri və Google-ın Gemma-sı daxildir. Lehto bildirdi ki, token istifadəsində istifadəçilərin bir hissəsi çox istifadə edən istifadəçilərdir və onların xərclərinin böyük hissəsi açıq çəkili modellər istifadə etməklə qənaət edilə bilər. O dedi ki, Aiven sərt token büdcələri ilə daha səmərəli token istifadə yolu arasında seçim qarşısında qalıb və daxili şlüz tətbiq etməklə ikincisini seçib.

Aiven şlüzünü LiteLLM adlı, özü hostinq etdiyi açıq mənbəli çərçivə əsasında qurub. O, büdcələşdirmə və giriş idarəetməsi kimi funksiyalar əlavə edib və digər açıq mənbəli komponentlər də qatıb. Modelləri icarəyə götürülmüş GPU-larda işlədir və modelləri özü də hostinq edir. Lehto dedi ki, Aiven qabaqcıl modellərdən yalnız işi planlaşdırmağa kömək etmək üçün istifadə etməyə davam edib. Faktiki işləri yerinə yetirəndə isə çoxlu açıq çəkili modellərdən istifadə edir. İşin əksəriyyəti açıq çəkili modellərlə görülür, lakin ən kritik hissələr qabaqcıl modellərlə planlaşdırılır. Bununla belə, açıq çəkili və qabaqcıl modellərin performansı fərqləndiyi üçün tapşırıq başına xərc kimi digər metriklərdən də istifadə etmək vacib idi, dedi o. Şirkət bildirir ki, çox istifadə edən istifadəçilər arasında xərclər təxminən 80 faiz azalıb.

Müştərilər və planlar

Aiven şlüzü xidmət olaraq müştərilərə təklif etməyi planlaşdırır ki, onlar iş axınlarına açıq çəkili modelləri daxil etməyi və çıxarmağı asanlaşdırmaqla token xərclərini idarə edə bilsinlər. Müştəriləri arasında Almaniyanın elektron ticarət şirkəti Conrad, Böyük Britaniyanın ödəniş emalı şirkəti Dojo, kiber təhlükəsizlik təchizatçısı Sophos və kommunikasiya şirkəti Avaya var. Lehto dedi ki, Aiven-in kökləri açıq mənbədə olduğuna görə şlüzü xidmət kimi təklif etmək müəssisə ehtiyaclarına uyğundur. Şirkət AI istifadə edərkən xərcləri azaltmağa çalışan satıcılar arasında yalnız biri olacaq.

Mənbələr: The Register