
Cerebras-მა გაუშვა დისაგრეგირებული ინფერენსი ულტრასწრაფი ტოკენებისთვის
Cerebras-მა გაუშვა დისაგრეგირებული ინფერენსი, რომელიც პრომპტების დამუშავებისთვის GPU-ებს Cerebras-ის სისტემებთან აკავშირებს. ეს მიდგომა მეგავატზე ხუთჯერ მეტ ტოკენს იძლევა იმავე ულტრასწრაფი სიჩქარით.
Cerebras-მა გაუშვა დისაგრეგირებული ინფერენსი, რომელიც პრომპტის დამუშავებისთვის GPU-ებს აკავშირებს Cerebras-ის სისტემებთან პასუხების გენერირებისთვის და Cerebras-ის იმავე ულტრასწრაფი სიჩქარით მეგავატზე ხუთჯერ მეტ ტოკენს იძლევა. კომპანიის თქმით, მიდგომა უკვე წარმოებაშია Cerebras Inference Cloud-ზე და მიზნად ისახავს სწრაფ ინფერენსზე მზარდი მოთხოვნის დაკმაყოფილებას. ინფრასტრუქტურულ პარტნიორებს შეუძლიათ გადაწყვეტის გამოყენება საკუთარ მონაცემთა ცენტრებშიც.
რატომ იზრდება მოთხოვნა
Muse-ის, Copilot-ის და Codex-ის მსგავსი აგენტური აპლიკაციები სწრაფად ფართოვდება და მომხმარებლების ჩართულობის შესანარჩუნებლად მაღალინტერაქტიულ ინფერენსს მოითხოვენ. Goldman Sachs Research-ის პროგნოზით, 2026 წლიდან 2030 წლისთვის AI ინფერენსზე მოთხოვნა 24-ჯერ შეიძლება გაიზარდოს, მაშინ როცა მონაცემთა ცენტრების სიმძლავრე ამავე პერიოდში 2,2-ჯერ გაიზრდება. Cerebras-ის თქმით, prefill-აქსელერატორის საკუთარ სისტემასთან შეწყვილება ზრდის ტოკენების გამტარუნარიანობას მეგავატზე, ულტრასწრაფი გენერაციის სიჩქარის შენარჩუნებით, რაც პროვაიდერებს ეხმარება, იმავე ენერგობიუჯეტიდან მეტ მომხმარებელს მოემსახურონ.
რატომ არის Cerebras შესაფერისი დეკოდისთვის
ინფერენსის მოთხოვნას ორი ძირითადი ეტაპი აქვს: პრეფილი ამუშავებს შეყვანილ მონაცემებს და ქმნის მოდელის შუალედურ მდგომარეობას, ხოლო დეკოდი გენერირებს გამომავალ ტოკენებს. დეკოდი ავტორეგრესიულია, ამიტომ ყოველი ახალი ტოკენი მოითხოვს მოდელის მონაცემების მეხსიერებიდან ხელახლა წაკითხვას, რაც მეხსიერების გამტარუნარიანობას მნიშვნელოვანს ხდის. Cerebras-ის სისტემები წონებს ჩიპზე არსებულ SRAM-ში ინახავენ და, კომპანიის მტკიცებით, მათ აქვთ 350-ჯერ მეტი SRAM-ის ტევადობა და 5 400-ჯერ მეტი მეხსიერების გამტარუნარიანობა, ვიდრე ტიპურ GB300 GPU-ს აქვს.
წარმოების შედეგები
Cerebras Inference Cloud-ზე წარმოების განლაგებაში AMD Instinct GPU-ები ამუშავებენ პრომპტებს, ხოლო Cerebras CS-3 სისტემები პასუხებს აგენერირებენ. კომბინაციამ უზრუნველყო 5X გამტარუნარიანობა მეგავატზე მხოლოდ CS-3-ის კონფიგურაციასთან შედარებით, ტოკენების გენერაციის სიჩქარის დანაკარგის გარეშე, 14 ნოემბერს საერთო GPT-OSS-120B ენდპოინტზე ჩატარებული გაზომვის მიხედვით. Cerebras-ის თქმით, ეს მიდგომა, CS-4 სისტემასთან, გაზრდილ წარმოებასთან და დაგეგმილ 700 მეგავატიან მონაცემთა ცენტრის სიმძლავრესთან ერთად, ხელს შეუწყობს 2027 წელს და შემდეგ უფრო მეტი ულტრასწრაფი ტოკენის მიწოდებას.
პარტნიორების მიერ დანერგვა და პროგრამული უზრუნველყოფა
ინფრასტრუქტურულ პარტნიორებს შეუძლიათ კლასტერების განლაგება Cerebras-ის საცნობარო არქიტექტურის გამოყენებით და მათ მიერ არჩეული prefill-აქსელერატორების Cerebras-ის სისტემებთან ერთად განთავსება ერთიან ქსელში. პარტნიორებს შეუძლიათ ინტეგრაცია მოახდინონ სრულ დისაგრეგირებულ პროგრამულ სტეკთან ან მხოლოდ დეკოდისთვის განკუთვნილ SDK-სთან. სრული სტეკი მოიცავს დისაგრეგირებული ინფერენსის ფრეიმვორკს, prefill-ძრავას, Cerebras-ის დეკოდის ძრავას და KV Portal პროგრამულ უზრუნველყოფას RDMA-ს მეშვეობით მოდელის შუალედური მდგომარეობის გადასაცემად. ადრეული წვდომის პარტნიორებს შორის არიან Amazon Web Services, Fireworks AI, Gimlet Labs და General Compute, ხოლო Cerebras 2027 წლის ბოლოსთვის ასეულობით მეგავატზე ფართო განლაგებას გეგმავს.
წყაროები: cerebras.ai
SiTech — AI-გაძლიერებული ვებ დეველოპმენტი
ვქმნით სწრაფ, თანამედროვე ვებსაიტებს და AI-ს ვაერთიანებთ ქართული ბიზნესებისთვის. გაქვთ პროექტი ან კითხვა? სიამოვნებით დაგეხმარებით.