العودة

Cerebras تطلق استدلالاً مفككاً لرموز فائقة السرعة
SiTech AI Team2 دقيقة قراءة

Cerebras تطلق استدلالاً مفككاً لرموز فائقة السرعة

أطلقت Cerebras استدلالاً مفككاً يربط معالجة المطالبات بواسطة GPU مع فك الترميز Cerebras، لتقديم خمسة أضعاف الرموز لكل ميغاواط مع الحفاظ على السرعات الفائقة ذاتها.

أطلقت Cerebras استدلالاً مفككاً يربط وحدات GPU لمعالجة المطالبات مع أنظمة Cerebras لتوليد الاستجابات، لتقديم خمسة أضعاف الرموز لكل ميغاواط مع الحفاظ على سرعات Cerebras الفائقة ذاتها. تقول الشركة إن هذا النهج يعمل بالفعل في الإنتاج على Cerebras Inference Cloud، وهو مخصص لتلبية الطلب المتزايد على الاستدلال السريع. كما يمكن لشركاء البنية التحتية استخدام الحل في مراكز بياناتهم الخاصة.

لماذا يرتفع الطلب

تتوسع التطبيقات الوكيلة مثل Muse وCopilot وCodex بسرعة، وتتطلب استدلالاً تفاعلياً للحفاظ على تفاعل المستخدمين. أبحاث Goldman Sachs تقدر أن طلب استدلال الذكاء الاصطناعي قد ينمو 24 مرة منذ 2026 بحلول 2030، بينما تنمو سعة مراكز البيانات 2.2 مرة خلال نفس الفترة. تقول Cerebras إن إقران مسرّع prefill مع نظامها يزيد إنتاجية الرموز لكل ميغاواط مع الحفاظ على سرعات التوليد الفائقة، مما يساعد مزودي الخدمة على خدمة المزيد من العملاء من نفس ميزانية الطاقة.

لماذا تناسب Cerebras مرحلة decode

لدى طلب الاستدلال مرحلتان رئيسيتان: prefill يعالج المدخلات وينتج حالة النموذج الوسيطة، بينما يولد decode رموز الخرج. مرحلة decode ذاتية الانحدار، لذا يتطلب كل رمز جديد قراءة بيانات النموذج من الذاكرة مرة أخرى، مما يجعل عرض النطاق الترددي للذاكرة مهمّاً. تحتفظ أنظمة Cerebras بالأوزان في SRAM على الشريحة، ولها سعة SRAM أكبر 350 مرة وعرض نطاق ترددي للذاكرة أكبر 5,400 مرة من GPU GB300 نموذجي، وفقاً للشركة.

نتائج الإنتاج

في نشر إنتاجي على Cerebras Inference Cloud، تعالج وحدات AMD Instinct GPU المطالبات، وتولد أنظمة Cerebras CS-3 الاستجابات. قدّم المزيج إنتاجية 5X لكل ميغاواط مقارنةً بتكوين CS-3 فقط، دون فقدان في سرعة توليد الرموز، بناءً على قياس 14 نوفمبر على نقطة نهاية GPT-OSS-120B مشتركة. تقول Cerebras أيضاً إن هذا النهج، إلى جانب نظام CS-4 الخاص بها، والتصنيع الموسّع، وسعة مراكز البيانات المخططة البالغة 700MW، سيساعد على خدمة المزيد من الرموز الفائقة السرعة في 2027 وما بعده.

تبني الشركاء والبرمجيات

يمكن لشركاء البنية التحتية نشر مجموعات باستخدام معمارية مرجعية من Cerebras، وتوطين مسرّعات prefill المختارة مع أنظمة Cerebras في شبكة موحدة. يمكن للشركاء التكامل مع حزمة برمجيات الاستدلال المفكك من البداية إلى النهاية، وهي تتضمن إطار استدلال مفكك، ومحرك prefill، ومحرك decode من Cerebras، وبرنامج KV Portal لنقل حالة النموذج الوسيطة عبر RDMA، أو مع SDK لمرحلة decode فقط. يشمل الشركاء في الوصول المبكر Amazon Web Services وFireworks AI وGimlet Labs وGeneral Compute، وتخطط Cerebras نشرًا واسعًا عبر مئات الميغاواط بحلول نهاية 2027.

المصادر: cerebras.ai

SiTech

SiTech — تطوير ويب مدعوم بالذكاء الاصطناعي

نبني مواقع سريعة وعصرية وندمج الذكاء الاصطناعي في سير عمل الشركات. لديك مشروع أو سؤال؟ يسعدنا مساعدتك.