NVIDIA و Dao AI Lab يقدّمان ReplaySSM لتسريع فك ترميز النماذج الهجينة

كيف يعمل ReplaySSM

تجمع النماذج الهجينة طبقات نموذج فضاء الحالة (SSM) بالتناوب مع عدة طبقات attention، وتتبع NVIDIA Nemotron 3 و Qwen3.5 و Kimi-K3 و GLM-5.3-Flash هذا التصميم بالضبط. تستخدم طبقات SSM حالة بحجم ثابت بدلاً من KV cache، ومع ذلك عند أحجام الدفعات في الخدمة، قد تصبح طبقات SSM وليس attention هي الحاجز الرئيسي للبطء حتى سياق 100K رمز. يقرأ فك الترميز التقليدي الحالة الكاملة ويخزنها في كل خطوة.

يمثل ReplaySSM الحالة كنقطة تحكم ومخزن مؤقت لسجلات آخر المدخلات. في معظم الخطوات، المعروفة بخطوة non-flush، يضيف المدخلات الجارية إلى المخزن المؤقت ويحسب المخرجات من نقطة التحكم والمخزن المؤقت دون تخزين الحالة. عندما يمتلئ مخزن 16 سجلاً، تدمج خطوة flush المدخلات الموجودة في المخزن المؤقت في نقطة التحكم، وتكتب نقطة تحكم جديدة مرة واحدة وتمسح المخزن المؤقت. تتطابق المخرجات مع فك الترميز التقليدي باستثناء فروق النقطة العائمة.

تقليل حركة الحالة وتبسيط rollback

عند نافذة 16 رمزاً، يقرأ فك الترميز التقليدي الحالة 16 مرة ويكتبها 16 مرة. يكتب ReplaySSM نقطة التحكم على النافذة مرة واحدة فقط، مما يقلل حركة الحالة المهيمنة إلى النصف تقريباً. على NVIDIA Blackwell Ultra B300 GPU بحجم دفعة 256، يعمل جوهر فك الترميز أسرع من 1,46 إلى 1,80 مرة، بينما تكون خطوة فك الترميز أسرع من 1,20 إلى 1,47 مرة على أربعة نماذج مقيّمة. عند حجم دفعة 1 تهيمن مصادر بطء أخرى ولا يوفر ReplaySSM تسريعاً في هذه الاختبارات.

لفك الترميز التخميني، يضيف ReplaySSM مدخلات الرموز المسودة إلى المخزن المؤقت حتى التحقق ويثبّت البادئة المقبولة بدفعها قبل مؤشر المخزن المؤقت، دون تخزين أو استعادة لقطات الحالة. هذا يتيح التقييم القائم على المخرجات فقط، الذي ينشئ ضربين مصفوفيين صغيرين دون بناء حالة وسيطة. على مطالبات GSM8K مع نماذج فئة 120B، يوفر ReplaySSM بحجم دفعة 512 من 1,85 إلى 2,10 مرة من إنتاجية vLLM التخمينية، مع أطوال قبول متساوية.

الحد من خطأ التكميم

تعود حالة SSM المكمّاة في العودية، لذلك يتراكم خطأ التقريب مع الطول، على عكس سجل KV cache. يخزن ReplaySSM نقطة تحكم عالية الدقة للعودة ونسخة منخفضة الدقة للقراءات، لذلك لا ينتشر خطأ القراءة أبداً في الدورة العودية. على Qwen3.5-4B عند 128K رمز، تقلل قراءات NVFP4 مع عودة FP32 تباعد KL للمخرجات من 0,136 إلى 0,0038. على GPQA-Diamond تبقى ثلاثة من أربعة نماذج ضمن نقطتين مئويتين تقريباً من دقة FP32 مع قراءات NVFP4 وعودية FP16 أو FP8، بينما تفقد نقطة تحكم NVFP4 الكاملة من 3 إلى 31 نقطة.

التوفر

ReplaySSM هو عمل مشترك بين NVIDIA و Dao AI Lab في جامعة برينستون، موصوف بالتفصيل في ورقة ReplaySSM: Cache SSM Inputs, Not State، والكود على GitHub. وهو مدمج في TensorRT-LLM و vLLM و SGLang و FlashInfer ويعمل في الإنتاج في GLM-5.3-Flash و Kimi-K3، حيث يقوم Kimi-K3 بتخزين مدخلات SSM للرموز المسودة في طبقات KDA للتحقق ويذكر ReplaySSM كمنهج منافس.

المصادر: Nvidia Dev