Geri qayıt

Cerebras ultrasürətli tokenlər üçün ayrışdırılmış inference işə saldı
SiTech AI Team2 dəq oxu

Cerebras ultrasürətli tokenlər üçün ayrışdırılmış inference işə saldı

Cerebras GPU ilə prompt emalını Cerebras decode sistemi ilə birləşdirən ayrışdırılmış inference təqdim etdi; eyni ultrasürətli Cerebras sürətini qoruyaraq meqavatt başına beş dəfə çox token verir.

Cerebras GPU-ları prompt emalına, Cerebras sistemlərini isə cavab yaradılmasına cəlb edən ayrışdırılmış inference işə saldı; eyni ultrasürətli Cerebras sürətini qoruyaraq meqavatt başına beş dəfə çox token verir. Şirkət bildirir ki, yanaşma artıq Cerebras Inference Cloud-da istehsalatdadır və sürətli inference-a artan tələbi qarşılamaq məqsədi daşıyır. İnfrastruktur tərəfdaşları həmçinin həlli öz data mərkəzlərində istifadə edə bilər.

Tələbin artma səbəbi

Muse, Copilot və Codex kimi agent tətbiqləri sürətlə böyüyür və istifadəçiləri cəlb etmək üçün yüksək interaktiv inference tələb edir. Goldman Sachs Research proqnozlaşdırır ki, süni intellekt inference tələbi 2026-cı ildən 2030-cu ilədək 24 dəfə arta bilər, eyni dövrdə data mərkəzi tutumu isə 2,2 dəfə artacaq. Cerebras bildirir ki, prefill akseleratorunu öz sistemi ilə birləşdirmək meqavatt başına token ötürmə qabiliyyətini artırır və ultrasürətli yaradılma sürətini qoruyur; bu, provayderlərə eyni enerji büdcəsindən daha çox müştəriyə xidmət etməyə kömək edir.

Cerebras decode üçün niyə uyğundur

İnference sorğusunun iki əsas mərhələsi var: prefill giriş verilənlərini emal edir və aralıq model vəziyyətini yaradır, decode isə çıxış tokenlərini yaradır. Decode avtoreqressivdir, ona görə hər yeni token üçün model verilənləri yaddaşdan yenidən oxunmalıdır; bu səbəbdən yaddaş bant genişliyi vacibdir. Şirkətə görə, Cerebras sistemləri çəkiləri on-chip SRAM-da saxlayır və tipik GB300 GPU ilə müqayisədə 350 dəfə çox SRAM tutumuna, 5,400 dəfə çox yaddaş bant genişliyinə malikdir.

İstehsalat nəticələri

Cerebras Inference Cloud üzərində istehsalat yerləşdirilməsində AMD Instinct GPU-ları promptları emal edir, Cerebras CS-3 sistemləri isə cavabları yaradır. Birləşmə, yalnız CS-3 konfiqurasiyası ilə müqayisədə meqavatt başına 5X ötürmə qabiliyyəti verdi; token yaradılma sürətində itki olmadı. Bu nəticə 14 noyabr ölçməsinə əsaslanır və paylaşılan GPT-OSS-120B son nöqtəsi üzərində əldə olunub. Cerebras həmçinin bildirir ki, bu yanaşma CS-4 sistemi, miqyaslı istehsal və planlaşdırılan 700MW data mərkəzi tutumu ilə birlikdə 2027-ci ildə və sonrakı illərdə daha çox ultrasürətli tokenə xidmət etməyə kömək edəcək.

Tərəfdaş qəbulu və proqram təminatı

İnfrastruktur tərəfdaşları Cerebras referens arxitekturasından istifadə edərək klasterlər yerləşdirə və seçdikləri prefill akseleratorlarını Cerebras sistemləri ilə vahid şəbəkədə bir yerdə yerləşdirə bilərlər. Tərəfdaşlar aralıq model vəziyyətini RDMA üzərindən ötürmək üçün ayrışdırılmış inference freymvorku, prefill mühərriki, Cerebras decode mühərriki və KV Portal proqram təminatından ibarət uçdan-uca ayrışdırılmış proqram təminatı steki ilə və ya yalnız decode SDK ilə inteqrasiya edə bilər. Erkən giriş tərəfdaşları Amazon Web Services, Fireworks AI, Gimlet Labs və General Compute-dir; Cerebras 2027-ci ilin sonunadək yüzlərlə meqavatt üzrə geniş yerləşdirmə planlaşdırır.

Mənbələr: cerebras.ai

SiTech

SiTech — AI ilə gücləndirilmiş veb hazırlanması

Sürətli və müasir saytlar qurur, AI-ı real biznes proseslərinə gətiririk. Layihəniz və ya sualınız var? Kömək etməyə hazırıq.