Revolut-მა საკუთარ სერვერებზე გაშვებული GLM მოდელებით AI-კოდირების ხარჯები დაახლოებით 90 პროცენტით შეამცირა

Revolut-მა განაცხადა, რომ ერთ წელზე ნაკლებ დროში AI-კოდირების ინფერენსის ხარჯები დაახლოებით 90 პროცენტით შეამცირა: Claude-ის მსგავს კომერციულ სერვისებზე დაყრდნობის ნაცვლად საკუთარ სერვერებზე გაშვებული მოდელები ნაგულისხმევად აქცია. ბრიტანული ფინტექ-კომპანიის ოპერაციებისა და ინფრასტრუქტურის ხელმძღვანელმა დევიდ აბიტბოლმა შედეგები გასულ თვეში ნიუ-იორკში, AI Engineer კონფერენციაზე წარადგინა. კომპანიის ცნობით, დაახლოებით 2000 ინჟინრისთვის AI-კოდირების ინსტრუმენტების დანერგვის შემდეგ კოდირების დრო 60 პროცენტით, ლიდ ტაიმი კი 70 პროცენტით გაუმჯობესდა.

ხარჯების წნეხმა თვითჰოსტინგისკენ უბიძგა

Revolut-მა თავდაპირველად GLM-5.1 აირჩია, შემდეგ GLM-5.3-ზე გადავიდა, რომელსაც ახლა 56 Nvidia B200 GPU-ზე ემსახურება. GLM-ზე გადასვლამდე კომპანია AI-ს ექსპერიმენტულად იყენებდა: 2025 წლის დასაწყისში Gemini დაინერგა, 2026 წლის დასაწყისში კი Claude Code. აბიტბოლის თქმით, კომპანია AI-ის ხარჯებს ეჭვით უყურებდა, რადგან ინჟინრები თვეში 1000 ან 10 000 დოლარს ხარჯავდნენ და ROI არც ისე მაღალი იყო, ამიტომ ინსტრუმენტები მკაცრი ბიუჯეტის ლიმიტებით დანერგა.

ინჟინრებს ტოკენების შეზღუდული რაოდენობაზე ჰქონდათ წვდომა, ამიტომ Revolut-მა საკუთარი მოდელების თვითჰოსტინგი შეისწავლა. შემავალი და გამომავალი ტოკენების მილიონზე 0,30 დოლარის ფასად GLM 5.1-ის თვითჰოსტინგი დაახლოებით ათჯერ იაფი იყო, ვიდრე OpenAI-ს Codex-ის ან Anthropic-ის Claude Code-ის გამოყენება. აბიტბოლის თქმით, იაფი ტოკენებით გუნდები აღარ ღელავენ, რამდენს იყენებენ და რისთვის. მისივე თქმით, მთავარი ბარიერი თავად კოდი არ იყო; უდიდესი სარგებელი AI მოდელებზე დებაგინგისა და Jira-სა და Confluence-ის ტიკეტების მინდობამ მოგვცა.

GLM-ის მასშტაბური გაშვება

GLM 5.1 ჩინურმა ღია წონების მოდელების შემქმნელმა Z.ai-მ შექმნა. მას დაახლოებით 754 მილიარდი პარამეტრი აქვს, საიდანაც ყოველი გენერირებული ტოკენისთვის 40 მილიარდი აქტიურდება; მხოლოდ წონებისთვის დაახლოებით 380 გბ GPU მეხსიერებაა საჭირო, კონტექსტისთვის კი სიზუსტის მიხედვით თითო მომხმარებელზე დამატებით 6-დან 26 გბ-მდე. Revolut-მა GLM-5.3-ის მასშტაბურად გასაშვებად 56 Nvidia B200 GPU გამოიყენა, რაც რაოდენობით შვიდ რვა-GPU-იან DGX B200 სისტემას უდრის.

აბიტბოლის თქმით, შესრულების ყველაზე დიდი მატება GPU-ების დამატებამ არ გამოიწვია, არამედ მოდელის ჰიპერპარამეტრების დარეგულირებამ, NVFP4 კვანტიზაციაზე გადასვლამ, prefill-ისა და decode-ის განცალკევებამ და კონტექსტის სიგრძეების მორგებამ. მისი თქმით, მილიონი ტოკენის კონტექსტური ფანჯარა ავტომატურად არ ნიშნავს სარგებელს ან ეფექტურობას; რეალურად 256 000 ტოკენია საჭირო. ოპტიმიზაციებით Revolut-მა დაახლოებით 256 000 ტოკენის ფანჯრებზე პირველ ტოკენამდე 3 წამზე ნაკლებ დროს და წამში დაახლოებით 200 ტოკენის სიჩქარეს მიაღწია. აბიტბოლის თქმით, 17:00-ის შემდეგ შემავალი ინჟინრები წამში დაახლოებით 800 ტოკენს იღებენ.

მოდელების როუტინგი და უსაფრთხოება

GLM-მა GPT ან Claude მთლიანად არ ჩაანაცვლა. ჩინური მოდელი მხოლოდ ტექსტზე მუშაობს, ამიტომ UI-სთან დაკავშირებული სამუშაოსთვის იდეალური არ არის. Revolut-მა მოდელების როუტერით ვიზუალური მოთხოვნები Gemini-ს ან GPT Luna-ს მსგავს მოდელებზე გადაამისამართა, კოდის გენერაცია კი GLM-ზე დატოვა. აბიტბოლის თქმით, ღია კოდი ახლა Revolut-ისთვის პრიორიტეტია და ეკონომიკურად ხელსაყრელია: გადასახადი ფიქსირებულია და თვის ბოლოს მოულოდნელი ანგარიშის რისკი არ არის, ხოლო frontier მოდელები გამონაკლისია.

აბიტბოლმა აღიარა, რომ ჩინური ღია წონების მოდელები კონფიდენციალურობისა და უსაფრთხოების გამო შესაძლოა საზრუნავი იყოს, თუმცა ხაზგასმით აღნიშნა, რომ მთავარი საზრუნავი ჩინეთიდან მომუშავე API-ებით მათზე წვდომაა. მისი თქმით, on-prem ან რეგიონულ ღრუბლოვან რესურსებზე გაშვებისას სანერვიულო არაფერია.

წყაროები: The Register