Google, sekizinci nesil AI çip serisine TPU 8tx ve TPU 8i Max ekledi

Google, sekizinci nesil AI hızlandırıcı serisine TPU 8tx ve TPU 8i Max olmak üzere iki yeni sistem ekledi. Şirket, ilk kez tek bir yıl içinde dört TPU sistemi sevk ettiğini söylüyor; her iki yeni varyant da yeni bir çip nesli yerine mevcut silikon üzerine inşa edildi. Eklemeler, Google kendi bünyesinde geliştirilen AI çiplerini dış müşterilere daha geniş şekilde pazarlarken gizli bilgi işlem ve bellek yoğun iş yüklerini hedefliyor.

TPU 8tx ile gizli bilgi işlem

TPU 8tx, gizli verilerle çalışan işletmelere ve devlet kurumlarına yöneliktir. Google, verilerin ve model ağırlıklarının aktif işlem sırasında bile korunup izole kaldığını söylüyor; bu da bir işlemci veriyle çalışırken verinin bellekte şifresinin çözülmesi gereken olağan boşluğu kapatıyor. Nvidia, gizli bilgi işlem mimarisi aracılığıyla GPU'lar için zaten benzer bir özellik sunuyor. Sistem, Google'ın düşük gecikmeli Boardfly ağını kullanıyor ve TPU 8t'ye kıyasla en fazla iki kat gecikme azaltımı sağlaması bekleniyor. Google, işletmelerin hassas verileri kümeler arasında taşımadan tek bir sistemle modellere ince ayar yapabileceğini, büyük modelleri daha küçük modellere damıtabileceğini ve pekiştirmeli öğrenme ile AI ajanlarını eğitebileceğini söylüyor.

TPU 8i Max ile bellek yoğun iş yükleri

TPU 8i Max, AI ajanlarının büyük kod tabanlarında veya saatlerce süren videolarda çalışması durumunda ortaya çıkabilecek bellek bant genişliği sınırlarını ele alıyor. Google, aynı raf formatında işlem gücünü, belleği ve bellek bant genişliğini iki katına çıkarmak için tek bir paket üzerine iki TPU 8i çipi yerleştirdi. Şirket, bunun veri merkezi alanının her metrekaresinde belirgin şekilde daha fazla performans getirdiğini söylüyor.

Yazılım ve dış benimseme

Google, PyTorch kodunun TPU'lar üzerinde en az değişiklikle çalışabilmesi için TorchTPU'yu açık kaynak olarak yayımladı ve vLLM ile SGLang gibi çıkarım çerçevelerini destekliyor. Google artık yaklaşık 100 dış TPU müşterisi olduğunu söylüyor; bu da TPU'ları iç araç olarak ele almaktan rekabetçi bir platform olarak pazarlamaya geçişi yansıtıyor. Şirket ayrıca modüler sistem yaklaşımını, yeni donanım varyantlarını yıllar yerine aylar içinde sunabilen kasıtlı bir tasarım seçimi olarak konumlandırıyor.

Pazar bağlamı

AI uygulamaları yaygınlaştıkça odak, pahalı eğitim çalıştırmalarından çıkarıma, yani modellerin günlük çalışmasına kayıyor. TPU gibi uzmanlaşmış çipler bu alanda güçlü yönlerini kullanabilir. Amazon, Microsoft ve OpenAI de kendi hızlandırıcılarını geliştiriyor; Nvidia ise Groq ile bir acqui-hire ve lisans anlaşması yoluyla çıkarım teklifini güçlendirdi.

Kaynaklar: The Decoder