AWS توسّع تعلّم التعزيز لنماذج MoE على EKS عبر EFA وDeepEP بزيادة 40% في الإنتاجية

نشرت AWS معمارية مرجعية للتدريب الواسع النطاق بتعلّم التعزيز (RL) لنماذج Mixture-of-Experts (MoE) على Amazon EKS باستخدام EFA وDeepEP. وتدوينة على مدونة AWS Machine Learning بتاريخ 25 سبتمبر 2026 تفيد بأن DeepEP فوق EFA رفع إنتاجية الـ rollout الإجمالية بنسبة 40 في المئة.

حلقة rollout يقيّدها التواصل

معماريات MoE الأكثر تباعدًا تخفض كلفة الاستدلال لكنها تجعل التدريب مقيّدًا بالتواصل لا بالحساب. والمصدر الرئيسي لهذا العبء هو Expert Parallelism (EP): فهو يضيف فوق أنماط Tensor وData وPipeline Parallelism توجيهًا ديناميكيًا للرموز بنمط all-to-all بين الأجهزة.

يشغّل عمل RL اللاتزامني حمولتين معًا: توليد الـ rollout استدلال موزّع يعظّم الإنتاجية الإجمالية، أما تدريب السياسة فيحتاج عمّالًا مترابطين بتزامن تام، وقد يوقف عامل متأخر العمل كله أو يسبّب انتهاء مهلة NCCL. وخارج نطاق نسخة واحدة تنتقل الحركة من نسيج NVLink داخل العقدة إلى وصلات أبطأ بين العُقد.

كيف ينقل DeepEP الرموز عبر EFA

يستبدل DeepEP جمْعيات all-to-all العامة بنواتين: نواة dispatch توجّه الرموز إلى الخبراء البعيدين، ونواة combine تجمع النتائج، باستخدام NVLink داخل العقدة وlibfabric بين العُقد. وقدّمت AWS تغييرات في upstream تنقل أوليات DeepEP إلى libfabric، فحصل DeepEP v2 على دعم أصلي لـ EFA، ويضيف NCCL 2.31 أحدث تحسينات EFA. وفي نسخ مثل P5 وP6 ينقل EFA مع NVIDIA GPUDirect RDMA البيانات مباشرة بين مخازن ذاكرة GPU.

ماذا يُظهر القياس وما يلزم للتشغيل

بحسب AWS، على 48 نسخة من P5en، خُصّصت 16 للتدريب و32 للاستدلال، وبالنموذج نفسه فائق التباعد من نوع MoE، رفع DeepEP فوق EFA إنتاجية الـ rollout بنسبة 40 في المئة وبلغ حجمًا يقارب ألف مسرّع. وكان الأساس حزمة مبنية على Slime (CUDA 12.9 وPyTorch 2.9.1 وNCCL 2.27 وSGLang 0.5.9 وSlime 0.2.4)، والنسخة المحسّنة حزمة DeepEP-over-EFA (CUDA 13.0 وPyTorch 2.12 وNCCL 2.31 وEFA 1.49 وDeepEP 2.0 وSGLang 0.5.17 وMiles 0.1.0).

وتسرد التدوينة Amazon EKS 1.31 أو أحدث، وEFA installer 1.49 مع إضافة AWS OFI NCCL، ونسخًا مثل p5.48xlarge أو p6-b200.48xlarge؛ على العُقد أن تكون في Availability Zone نفسه. ويناسب rollout نسخ Amazon EC2 Spot: تعود المهام غير المكتملة إلى الطابور ويبقى التدريب على سعة ثابتة. وتُرسل الأعمال عبر TorchX وتُخزَّن نقاط التفتيش في Amazon S3.