Fireworks AI-ის ვიცე-პრეზიდენტი: საკუთარ სერვერებზე გაშვებული AI ხშირად GPU-ის ფულის ფლანგვაა

Fireworks AI მხარს უჭერს მოდელების საკუთარ მონაცემთა ცენტრებში გაშვებას, თუმცა კომპანიის ვიცე-პრეზიდენტი რობ ფერგიუსონი თვლის, რომ ბევრმა კომპანიამ ამისგან თავი უნდა შეიკავოს: GPU-ის აპარატურა იმდენად ძვირია, რომ არასრული დატვირთვის შემთხვევაში ფული იკარგება. მართული ინფერენსის პროვაიდერი ამბობს, რომ დავალებების განაწილება მოდელების პორტფოლიოზე, ქეშირება, მონაცემებთან მუშაობა და სიჩქარე AI-ის რეალურ ღირებულებას ცვლის.

საკუთარი სერვერები და GPU-ის ეკონომიკა

ფერგიუსონმა The Register-თან თქვა, რომ Fireworks AI მომხმარებლებს ამ გზისგან მუდმივად აშორებს, რადგან, მისი აზრით, გადაწყვეტს მხოლოდ ეკონომიკა. მისი თქმით, 10 000 GPU მილიარდ დოლარის კაპიტალია და კომპანიებს არ სურთ, რომ ეს სისტემები უმოქმედოდ იდგეს. მგრძნობიარე დატვირთვისთვის Fireworks-ს აქვს სერვისი სახელწოდებით Sovereign და პარტნიორებს შორის Microsoft-იც არის, თუმცა ფერგიუსონის თქმით, ინფერენსის სამუშაოების უმეტესობას, სავარაუდოდ, დაცვის ასეთი დონე არ სჭირდება.

მოდელების როუტინგი ერთი მოდელის ნაცვლად

ფერგიუსონის თქმით, საუკეთესო მოდელი პორტფოლიოა და არა ერთი მოდელი, მაგალითად Astra ან Fable, და რამდენიმე მოდელს შორის როუტინგი ყოველთვის ჯობია მხოლოდ ერთის გამოყენებას. Fireworks ამას Nexus-ითა და საკუთარი API-ით აკეთებს, კონკურენტებთან, Together AI-სთან, Baseten-თან და DeepInfra-სთან ერთად. კომპანია ამბობს, რომ გულუბრყვილო როუტინგს, როგორც ამას AI gateway-ები აკეთებენ, არ აკეთებს: ის დავალებებს მოსვლისთანავე აფასებს და ოპტიმალურ მოდელზე აგზავნის.

Fireworks საკუთარ როუტერებს ქმნის და მისი ავტომოდელი მუდმივად განახლდება: კომპანია აფასებს დავალების სირთულეს და ითვალისწინებს მოდელების მიდრეკილებებს, მაგალითად, Kimi ოდნავ უკეთესია JavaScript-ში, ვიდრე Python-ში. ფერგიუსონმა კომპანიის უპირატესობა საინჟინრო გუნდსა და დამფუძნებლების PyTorch-ზე მუშაობას მიაწერა და თქვა, რომ გუნდს კარგად ესმის რიცხვითი გამოთვლების, ექსპერტთა ნარევის ტოპოლოგიების, მცურავი წერტილის სიზუსტის და რთულ ქსელებში როუტინგის მნიშვნელობა, მაშინაც კი, როცა საქმეში ერთზე მეტი პროვაიდერია ჩართული.

ღირებულება, მონაცემები და სიჩქარე

ფერგიუსონის თქმით, AI-ის საკითხი ისევ ეკონომიკაში იშლება: რამდენი სამუშაო შეიძლება გადავიდეს ქეშირებულ ან ღია მოდელებზე და როდის არის საჭირო სპეციალიზაცია. მისი თქმით, წამყვანი მოდელების კომპანიები ქეშირების ტარიფებზე ღიად არ საუბრობენ. მან მონაცემთა მეცნიერების კომპანიის მაგალითი მოიყვანა, სადაც Fireworks-მა დავალებების დაახლოებით 90 პროცენტი დააქეშირა, Anthropic-ის Opus-მა კი მხოლოდ 30 პროცენტი. მისი თქმით, ხელახალი შესრულება AI-ში ყველაზე დიდი ხარჯია, ტოკენის ფასი რეალური ხარჯი არ არის და მომხმარებლებმა დავალებაზე ხარჯს თვალი უნდა ადევნონ.

ფერგიუსონმა ასევე თქვა, რომ კომპანიები საკუთარი მონაცემების ღირებულებას მნიშვნელოვნად აქვეითებენ. Fireworks-ს მონაცემების შენახვის ნულოვანი პოლიტიკა აქვს, თუმცა, მისი თქმით, ბევრ სხვა კომპანიას ასეთი პოლიტიკა არ აქვს და თუ ისინი თქვენს მონაცემებს იყენებენ, სანაცვლოდ ღირებულება უნდა მიიღოთ. მან აღნიშნა, რომ მოდელები ნანახ ინფორმაციას იმახსოვრებენ და ამის მტკიცებულებები უკვე არსებობს. სიჩქარე, დასძინა მან, არასაკმარისად ფასდება და ცვლის იმას, თუ როგორ მუშაობს ის AI-სთან. ფერგიუსონის მტკიცებით, მოდელების გაერთიანება ანგარიშს მინიმუმ 50 პროცენტით ამცირებს. მისი თქმით, Fireworks საუბრობს 6-8-ჯერ იაფ ვარიანტზე და იძლევა გარანტიას, რომ ანგარიში მაშინვე განახევრდება, თუ მომხმარებელი კვლავ დახურული და ღია მოდელების ნაზავს იყენებს.

წყაროები: The Register