Google səkkizinci nəsil AI çip xəttinə TPU 8tx və TPU 8i Max əlavə edir

Google səkkizinci nəsil AI sürətləndirici xəttinə iki yeni sistem, TPU 8tx və TPU 8i Max əlavə edib. Şirkət ilk dəfə bir il ərzində dörd TPU sistemi buraxdığını bildirir; hər iki yeni variant yeni çip nəsli yox, mövcud silikon əsasında qurulub. Əlavələr məxfi hesablama və yaddaş tələb edən işlərə yönəlib; Google öz AI çiplərini daha geniş şəkildə xarici müştərilərə təqdim edir.

TPU 8tx ilə məxfi hesablama

TPU 8tx məxfi məlumatlarla işləyən müəssisələr və dövlət qurumları üçün nəzərdə tutulub. Google bildirir ki, məlumatlar və model ağırlıqları aktiv emal zamanı da qorunur və təcrid olunur; bu, prosessor işləyərkən məlumatların yaddaşda şifrədən çıxarılması lazım gələn adi boşluğu bağlayır. Nvidia bu cür funksiyanı GPU-lar üçün məxfi hesablama arxitekturası vasitəsilə artıq təklif edir. Sistem Google-ın aşağı gecikməli Boardfly şəbəkəsindən istifadə edir və TPU 8t ilə müqayisədə gecikməni iki dəfəyə qədər azaltmalı olduğu bildirilir. Google deyir ki, müəssisələr həssas məlumatları klasterlər arasında daşımadan bir sistemlə modelləri dəqiq tənzimləyə, böyük modelləri daha kiçik modellərə distillə edə və AI agentləri gücləndirici öyrənmə ilə öyrədə bilər.

TPU 8i Max ilə yaddaş tələb edən işlər

TPU 8i Max AI agentlərin böyük kod bazaları və ya saatlarla video üzərində işlədiyi zaman yarana bilən yaddaş ötürmə qabiliyyəti məhdudiyyətlərini həll edir. Google iki TPU 8i çipini bir paketə yerləşdirib; bu, eyni rəf formatında hesablama gücünü, yaddaşı və yaddaş ötürmə qabiliyyətini iki dəfə artırır. Şirkət bildirir ki, bu, data mərkəzinin hər kvadrat metrinə nəzərəçarpacaq dərəcədə daha çox performans gətirir.

Proqram təminatı və xarici istifadə

Google PyTorch kodunun minimal dəyişikliklə TPU-larda işləməsi üçün TorchTPU-nu açıq mənbə kimi buraxıb və vLLM, SGLang kimi inference çərçivələrini dəstəkləyir. Google indi təxminən 100 xarici TPU müştərisi olduğunu bildirir; bu, TPU-ları daxili alət kimi görməkdən rəqabətədavamlı platforma kimi təqdim etməyə keçidi əks etdirir. Şirkət modul sistem yanaşmasını yeni aparat variantlarını illər yox, aylar ərzində təqdim edə bilən bilərəkdən edilmiş dizayn seçimi kimi təqdim edir.

Bazar konteksti

AI tətbiqləri yayıldıqca diqqət bahalı öyrətmə işlərindən inference-ə, yəni modellərin gündəlik işlədilməsinə keçir. TPU kimi ixtisaslaşmış çiplər bu sahədə güclü tərəflərini göstərə bilər. Amazon, Microsoft və OpenAI də öz sürətləndiricilərini hazırlayır; Nvidia isə Groq ilə acqui-hire və lisenziya razılaşması vasitəsilə inference təklifini gücləndirib.

Mənbələr: The Decoder