Google-მა მერვე თაობის AI ჩიპების ხაზს TPU 8tx და TPU 8i Max დაუმატა

Google-მა მერვე თაობის AI ამაჩქარებლების ხაზს ორი ახალი სისტემა, TPU 8tx და TPU 8i Max, დაუმატა. კომპანიის თქმით, პირველად ერთ წელიწადში ოთხი TPU სისტემა მიაწოდა. ორივე ახალი ვარიანტი არსებულ სილიკონზეა აწყობილი და არა ჩიპების ახალ თაობაზე. დამატებები კონფიდენციალურ გამოთვლებსა და მეხსიერების მომთხოვ დატვირთვებზეა ორიენტირებული, რადგან Google საკუთარ AI ჩიპებს უფრო ფართოდ უწევს მარკეტინგს გარე მომხმარებლებისთვის.

TPU 8tx და კონფიდენციალური გამოთვლები

TPU 8tx განკუთვნილია საწარმოებისა და სამთავრობო უწყებებისთვის, რომლებიც კონფიდენციალურ მონაცემებთან მუშაობენ. Google-ის თქმით, მონაცემები და მოდელის წონები დაცული და იზოლირებული რჩება აქტიური დამუშავების დროსაც, რაც ხურავს ჩვეულ ხარვეზს, როცა პროცესორის მუშაობისას მონაცემები მეხსიერებაში უნდა გაიშიფროს. Nvidia უკვე სთავაზობს მსგავს ფუნქციას GPU-ებისთვის კონფიდენციალური გამოთვლების არქიტექტურით. სისტემა იყენებს Google-ის დაბალი ლატენტურობის Boardfly ქსელს და, TPU 8t-თან შედარებით, ლატენტურობის ორჯერამდე უფრო მეტ შემცირებას უნდა იძლეოდეს. Google-ის თქმით, საწარმოებს ერთი სისტემით შეუძლიათ მოდელების დახვეწა, დიდი მოდელების პატარებად დისტილაცია და AI აგენტების გაძლიერებითი სწავლებით წვრთნა მგრძნობიარე მონაცემების კლასტერებს შორის გადატანის გარეშე.

TPU 8i Max და მეხსიერების მომთხოვი დატვირთვები

TPU 8i Max პასუხობს მეხსიერების გამტარობის შეზღუდვებს, რომლებიც შეიძლება წარმოიშვას, როცა AI აგენტები დიდ კოდურ ბაზებზე ან საათობით ვიდეოზე მუშაობენ. Google-მა ორი TPU 8i ჩიპი ერთ კორპუსში განათავსა, რითაც იმავე რაკის ფორმატში გაორმაგდა გამოთვლითი სიმძლავრე, მეხსიერება და მეხსიერების გამტარობა. კომპანიის თქმით, ეს მონაცემთა ცენტრის კვადრატულ მეტრზე მნიშვნელოვნად უფრო მაღალ წარმადობას იძლევა.

პროგრამული უზრუნველყოფა და გარე გამოყენება

Google-მა TorchTPU ღია კოდით გამოუშვა, რათა PyTorch-ის კოდი მინიმალური ცვლილებებით მუშაობდეს TPU-ებზე. ასევე მხარდაჭერილია პოპულარული ინფერენსის ჩარჩოები, როგორიცაა vLLM და SGLang. Google ახლა TPU-ს თითქმის 100 გარე მომხმარებელს ითვლის, რაც აჩვენებს გადასვლას TPU-ების შიდა ინსტრუმენტად განხილვიდან მათ კონკურენტუნარიან პლატფორმად მარკეტინგამდე. კომპანია მოდულურ სისტემურ მიდგომას განზრახ დიზაინულ არჩევანად წარმოაჩენს, რომელსაც ახალი ტექნიკური ვარიანტების თვეებში და არა წლებში გამოშვება შეუძლია.

ბაზრის კონტექსტი

AI აპლიკაციების გავრცელებასთან ერთად ფოკუსი ძვირადღირებული წვრთნიდან ინფერენსზე გადადის, ანუ მოდელების ყოველდღიურ მუშაობაზე. სპეციალიზებულ ჩიპებს, როგორიც TPU-ებია, ამ სფეროში საკუთარი ძლიერი მხარეების გამოყენება შეუძლიათ. Amazon, Microsoft და OpenAI ასევე ავითარებენ საკუთარ ამაჩქარებლებს, Nvidia კი ინფერენსის შეთავაზება გააძლიერა Groq-თან გუნდის ჩათრევისა და ლიცენზირების გარიგებით.

წყაროები: The Decoder