Aiven-მა LLM-ის გეითვეი ააშენა ღია წონების მოდელებზე გადასვლით ტოკენების ხარჯების შემცირების შემდეგ

ღია კოდის მონაცემთა ბაზების სერვისის ევროპული პროვაიდერი Aiven აცხადებს, რომ ღია წონების მოდელებზე გადასვლით შიდა AI ტოკენების ხარჯების 80% დაზოგა. ფინეთში დაფუძნებულმა კომპანიამ ბიზნესი ააშენა ღია კოდის მონაცემთა ბაზების ჰოსტინგსა და სერვისის სახით მიწოდებაზე, ბოლო ორი წლის განმავლობაში კი მანქანური სწავლების სფეროში გადავიდა. The Register-თან საუბრისას Aiven-ის სტრატეგიის ვიცე-პრეზიდენტმა ვილე ლეჰტომ თქვა, რომ ღია კოდის AI ინფრასტრუქტურასთან მუშაობისას არ არის მარტივი ისეთი რამის შექმნა, რომელიც სხვადასხვა ღრუბლოვან გარემოში იმუშავებს. თუმცა, დეველოპერებისთვის LLM-ებზე წვდომის მიცემისას კომპანიას სურდა საკუთარი ტოკენების ხარჯების მართვა და AI-ის გამოყენების საკითხში დამოუკიდებელი ყოფილიყო.

როგორ მუშაობს გეითვეი

ტოკენების მაქსიმიზაციის ირგვლივ დებატების ტალღის შემდეგ დეველოპერები ზოგადად უფრო დაინტერესდნენ ხარჯების შემცირებით მოდელების ნარევის გამოყენებით, მათ შორის დასავლური წამყვანი მოდელების იაფი ჩინური ალტერნატივებითა და ღია წონების მოდელებით, რომლებიც უფრო იაფად გამოიყენება. ღია წონების მოდელების ნასწავლი პარამეტრები, ძირითადად წონები და ბიასები, საჯაროდ გამოქვეყნებულია და მათი ლოკალურად გაშვება ან ჰოსტინგი შესაძლებელია OpenAI-ისა და Anthropic-ის წამყვან მოდელებზე იაფად. მაგალითებია Meta-ს Llama ოჯახი, Alibaba Cloud-ის Qwen ოჯახი, ჩინური DeepSeek, Mistral AI-ის Medium 3.5 და Devstral და Google-ის Gemma. ლეჰტომ თქვა, რომ ტოკენების გამოყენებას რაც შეეხება, მომხმარებლების მცირე ნაწილი ინტენსიური მომხმარებელია და მათი ხარჯების დიდი ნაწილი შეიძლება დაიზოგოს ღია წონების მოდელების გამოყენებით. მისი თქმით, Aiven-ის წინაშე არჩევანი იდგა მკაცრ ტოკენის ბიუჯეტებსა და ტოკენების უფრო ეფექტიანი გამოყენების გზას შორის, და კომპანიამ მეორე აირჩია შიდა გეითვეის დანერგვით.

Aiven-მა თავისი გეითვეი ღია კოდის ჩარჩო LiteLLM-ის ბაზაზე ააშენა და თავად დააჰოსტა იგი. მან დაამატა ისეთი ფუნქციები, როგორიცაა ბიუჯეტირება და წვდომის მართვა, ასევე სხვა ღია კოდის კომპონენტები. მოდელებს ქირავნულ GPU-ებზე აშვებს და თავადვე ჰოსტავს. ლეჰტომ თქვა, რომ Aiven აგრძელებდა წამყვანი მოდელების გამოყენებას, მაგრამ მხოლოდ სამუშაოს დაგეგმვისთვის. რაც შეეხება უშუალო შესრულებას, ის ბევრ ღია წონების მოდელს იყენებს. სამუშაოს უმეტესობა ღია წონების მოდელებით სრულდება, თუმცა ყველაზე კრიტიკული ნაწილები წამყვანი მოდელებით იგეგმება. თუმცა, ვინაიდან ღია წონებისა და წამყვანი მოდელების წარმადობა განსხვავებულია, მნიშვნელოვანი იყო სხვა მეტრიკების გამოყენებაც, მაგალითად, დავალების ღირებულების, თქვა მან. კომპანია აცხადებს, რომ ინტენსიურ მომხმარებლებში ხარჯები დაახლოებით 80%-ით შემცირდა.

მომხმარებლები და გეგმები

Aiven გეგმავს მომხმარებლებს შესთავაზოს გეითვეი სერვისის სახით, რათა დაეხმაროს მათ ტოკენების ხარჯების მართვაში და გაუადვილოს ღია წონების მოდელების სამუშაო პროცესებში დამატება და ამოღება. მის მომხმარებლებს შორის არიან გერმანული ელექტრონული კომერციის კომპანია Conrad, ბრიტანული გადახდების დამუშავების კომპანია Dojo, კიბერუსაფრთხოების პროვაიდერი Sophos და კომუნიკაციების კომპანია Avaya. ლეჰტომ თქვა, რომ ვინაიდან Aiven-ის ფესვები ღია კოდშია, გეითვეის სერვისის სახით შეთავაზება საწარმოების საჭიროებებს შეესაბამება. კომპანია მხოლოდ ერთ-ერთი იქნება იმ მიმწოდებლებს შორის, რომლებიც პოზიციონირდებიან, რათა ორგანიზაციებს AI-ის გამოყენებისას ხარჯების შემცირებაში დაეხმარონ.

წყაროები: The Register