
Cerebras משיקה הסקה מפורקת לטוקנים מהירים במיוחד
Cerebras השיקה הסקה מפורקת המשלבת עיבוד פרומפט ב-GPU עם פענוח ב-Cerebras, ומספקת פי חמישה יותר טוקנים למגה-ואט באותן מהירויות אולטרה-מהירות של Cerebras.
חברת Cerebras השיקה הסקה מפורקת שמשלבת מעבדי GPU לעיבוד פרומפט עם מערכות Cerebras ליצירת תגובות, ומספקת פי חמישה יותר טוקנים למגה-ואט באותן מהירויות אולטרה-מהירות של Cerebras. החברה אומרת שהגישה כבר פועלת בייצור ב-Cerebras Inference Cloud והיא מיועדת לענות על הביקוש ההולך וגדל להסקה מהירה. שותפי תשתית יכולים גם להשתמש בפתרון במרכזי הנתונים שלהם.
מדוע הביקוש עולה
יישומים אגנטים כמו Muse, Copilot ו-Codex מתרחבים במהירות ודורשים הסקה אינטראקטיבית מאוד כדי לשמור על מעורבות משתמשים. Goldman Sachs Research מעריך כי הביקוש להסקת AI עשוי לגדול פי 24 מ-2026 עד 2030, בעוד קיבולת מרכזי הנתונים תגדל פי 2.2 באותו פרק זמן. Cerebras אומרת שצימוד מאיץ prefill עם המערכת שלה מגדיל את תפוקת הטוקנים למגה-ואט תוך שמירה על מהירויות יצירה אולטרה-מהירות, ומסייע לספקים לשרת יותר לקוחות מאותה תקציב הספק.
מדוע Cerebras מתאימה לפענוח
לבקשת הסקה יש שני שלבים עיקריים: prefill מעבד את הקלט ומייצר מצב מודל ביניים, בעוד decode מייצר טוקנים של פלט. decode הוא autoregressive, כך שכל טוקן חדש מחייב קריאה של נתוני המודל מהזיכרון שוב, מה שהופך את רוחב הפס של הזיכרון לחשוב. מערכות Cerebras שומרות משקלים ב-SRAM על-השבב ובעלות קיבולת SRAM פי 350 ורוחב פס זיכרון פי 5,400 מ-GPU טיפוסי GB300, לפי החברה.
תוצאות ייצור
בפריסה ייצורית ב-Cerebras Inference Cloud, מעבדי GPU של AMD Instinct מעבדים פרומפטים ומערכות Cerebras CS-3 מייצרות תשובות. השילוב סיפק תפוקה של פי 5 למגה-וואט בהשוואה לתצורת CS-3 בלבד, ללא פגיעה במהירות יצירת הטוקנים, על סמך מדידה מ-14 בנובמבר על נקודת קצה משותפת של GPT-OSS-120B. Cerebras גם אומרת כי הגישה, לצד מערכת CS-4 שלה, הייצור המוגדל וקיבולת מתוכננת של 700MW של מרכזי נתונים, תעזור לשרת יותר טוקנים אולטרה-מהירים ב-2027 ואילך.
אימוץ שותפים ותוכנה
שותפי תשתית יכולים לפרוס אשכולות באמצעות ארכיטקטורת ייחוס של Cerebras ולמקם את מאיצי ה-prefill הנבחרים שלהם יחד עם מערכות Cerebras ברשת מאוחדת. שותפים יכולים להשתלב עם מחסנית תוכנה מפורקת מקצה לקצה, הכוללת מסגרת הסקה מפורקת, מנוע prefill, מנוע decode של Cerebras ותוכנת KV Portal להעברת מצב מודל ביניים מעל RDMA, או עם SDK ל-decode בלבד. שותפי גישה מוקדמת כוללים את Amazon Web Services, Fireworks AI, Gimlet Labs ו-General Compute, ו-Cerebras מתכננת פריסה רחבה על פני מאות מגה-וואט עד סוף 2027.
מקורות: cerebras.ai
SiTech — פיתוח אתרים בכוח ה-AI
אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.