Geri Dön

Cerebras, Ultra Hızlı Tokenlar İçin Ayrışık Çıkarımı Başlattı
SiTech AI Team2 dk okuma

Cerebras, Ultra Hızlı Tokenlar İçin Ayrışık Çıkarımı Başlattı

Cerebras, GPU ile istem işleme ve Cerebras ile yanıt üretimi bir araya getiren ayrışık çıkarımı başlattı; aynı ultra hızlı hızlarda megawatt başına beş kat daha fazla token sağlıyor.

Cerebras, istem işleme için GPU'ları ve yanıt üretimi için Cerebras sistemlerini bir araya getiren ayrışık çıkarımı başlattı; aynı ultra hızlı Cerebras hızlarında megawatt başına beş kat daha fazla token sunuyor. Şirket, bu yaklaşımın Cerebras Inference Cloud üzerinde zaten üretimde olduğunu ve hızlı çıkarıma yönelik artan talebi karşılamayı amaçladığını söylüyor. Altyapı ortakları da çözümü kendi veri merkezlerinde kullanabiliyor.

Talep neden artıyor

Muse, Copilot ve Codex gibi ajan tabanlı uygulamalar hızla ölçekleniyor ve kullanıcıları etkileşimde tutmak için son derece etkileşimli çıkarım gerektiriyor. Goldman Sachs Research, 2026'dan 2030'a kadar yapay zeka çıkarım talebinin 24 kat büyüyebileceğini, aynı dönemde veri merkezi kapasitesinin 2,2 kat artacağını öngörüyor. Cerebras, bir ön doldurma hızlandırıcısını sistemiyle birleştirmenin megawatt başına token verimini artırdığını ve ultra hızlı üretim hızlarını koruduğunu; böylece sağlayıcıların aynı güç bütçesiyle daha fazla müşteriye hizmet verebildiğini söylüyor.

Cerebras neden yanıt üretimi için uygun

Bir çıkarım isteğinin iki ana aşaması vardır: ön doldurma girdiyi işler ve ara model durumunu üretir; decode ise çıktı tokenlarını üretir. Decode otoregresiftir, bu nedenle her yeni token model verilerinin bellekten yeniden okunmasını gerektirir ve bellek bant genişliğini önemli hale getirir. Cerebras sistemleri ağırlıkları çip üstü SRAM'de tutar ve şirketin söylediğine göre tipik bir GB300 GPU'ya kıyasla 350 kat daha fazla SRAM kapasitesine ve 5.400 kat daha fazla bellek bant genişliğine sahiptir.

Üretim sonuçları

Cerebras Inference Cloud üzerindeki bir üretim dağıtımında AMD Instinct GPU'lar istemleri işler ve Cerebras CS-3 sistemleri yanıtları üretir. Yalnızca CS-3 kullanılan yapılandırmaya kıyasla bu birleşim, paylaşılan bir GPT-OSS-120B uç noktasında 14 Kasım tarihli bir ölçüme göre token üretim hızında kayıp olmadan megawatt başına 5X verim sağladı. Cerebras ayrıca bu yaklaşımın CS-4 sistemi, ölçeklenmiş üretimi ve planlanan 700MW veri merkezi kapasitesiyle birlikte 2027 ve sonrasında daha fazla ultra hızlı token sunmaya yardımcı olacağını söylüyor.

Ortakların benimsemesi ve yazılım

Altyapı ortakları Cerebras referans mimarisini kullanarak kümeler dağıtabilir ve seçtikleri ön doldurma hızlandırıcılarını Cerebras sistemleriyle birleşik bir ağda birlikte konumlandırabilir. Ortaklar, ayrışık çıkarım çerçevesi, ön doldurma motoru, Cerebras decode motoru ve ara model durumunu RDMA üzerinden aktarmaya yönelik KV Portal yazılımından oluşan uçtan uca ayrışık yazılım yığınıyla veya yalnızca decode içeren SDK ile entegre olabilir. Erken erişim ortakları arasında Amazon Web Services, Fireworks AI, Gimlet Labs ve General Compute bulunur; Cerebras, 2027 sonuna kadar yüzlerce megawatt boyunca geniş dağıtım planlıyor.

Kaynaklar: cerebras.ai

SiTech

SiTech — AI destekli web geliştirme

Hızlı ve modern web siteleri kuruyor, AI'yı gerçek iş akışlarına taşıyoruz. Projeniz veya sorunuz mu var? Yardımcı olmaktan mutluluk duyarız.