ديب سيك تفتح مصدر إطار DeepInfer للاستدلال الخاص بـ V4.1-Flash
نشرت ديب سيك إطار DeepInfer، وهو إطار الاستدلال الذي يشغّل خدمات الإنتاج واسعة النطاق لديها. يدعم DeepSeek-V4.1-Flash على معالجات الرسوميات Nvidia SM100 ووحدات المعالجة العصبية Huawei Ascend 950، ويضيف نوى محسّنة وجدولة غير متزامنة.
DeepInfer أصبح مفتوح المصدر الآن
قالت ديب سيك إنها تفتح مصدر DeepInfer، إطار الاستدلال الذي يشغّل خدمات الإنتاج واسعة النطاق لديها. يقول مستودع المشروع إن الإصدار يدعم DeepSeek-V4.1-Flash ويعمل على معالجات الرسوميات Nvidia SM100 ووحدات المعالجة العصبية Huawei Ascend 950. تخطط ديب سيك لإضافة دعم للأنظمة المستقبلية، وفقًا لبلومبرغ.
قالت ديب سيك على X إنها تشترك في حزمة الإنتاج الخاصة بها لمساعدة المجتمع على خفض تكاليف الحوسبة، وتقليل استهلاك الطاقة، وجعل الذكاء الاصطناعي أكثر يسرًا. يقع مقر الشركة في هانغتشو.
ما يتضمنه الإطار
يتضمن DeepInfer نوى محسّنة وطرق توازي لطبقات الانتباه وطبقات مزيج الخبراء. كما يوفر طريقة فك تشفير تستخدم رموزًا مسودة وتقديرات ثقة لجدولة التحقق، بالإضافة إلى جدولة غير متزامنة تتداخل فيها جدولة دفعات وحدة المعالجة المركزية مع تنفيذ الجهاز.
يغطي الإصدار أيضًا الاستدلال الثابت بالنسبة للدفعات، والأخذ العينات الحتمي، والمخرجات المهيكلة. يعمل الاستدلال الثابت بالنسبة للدفعات والأخذ العينات الحتمي على أجهزة Nvidia فقط. تشمل قائمة النوى نوى TileLang مخصصة وتغطي رقائق Huawei Ascend 950.
قيود ومتطلبات النشر
يوفر الإصدار الاستدلال دون اتصال ويغفل أجزاء من خدمة استدلال كاملة. قالت ديب سيك إن المستخدمين يجب أن يوفروا نظام ذاكرة تخزين مؤقت KV، وفصل التعبئة المسبقة وفك التشفير، وموازنة الحمل عبر نسخ متوازية للبيانات لكل من التعبئة المسبقة وفك التشفير.
يتطلب DeepInfer نظام Linux، و GCC 13.0 أو أحدث، و Python 3.12، بالإضافة إلى CUDA 13 على أجهزة Nvidia أو CANN 9.2 على Ascend. يتم إصداره بموجب ترخيص Apache 2.0. قالت ديب سيك إن الإطار بُني في الأصل بشكل أساسي على vLLM، مع استلهام إضافي من SGLang و TensorRT-LLM.
أهمية الإصدار
قالت بلومبرغ إن الإصدار يكشف عن طرق تعتمد عليها ديب سيك للحفاظ على تكاليف الاستدلال للذكاء الاصطناعي المتقدم منخفضة، وهي تقنيات تميل شركات الذكاء الاصطناعي إلى حمايتها. يمكن للشركات التي تستضيف أو تشغّل نماذج ديب سيك في السحابة تطبيق هذه الطرق بنفسها، وقالت بلومبرغ إن سعر تقديم نموذج معين يمكن أن يختلف بشكل كبير باختلاف برنامج التقديم.
لم يقم أي طرف خارجي بعد بقياس مكاسب كفاءة DeepInfer، وفقًا لبلومبرغ. ينطبق الإطار على نماذج ديب سيك الخاصة، لكن المطورين الخارجيين قد يقرأون الكود ويستعيرون تقنياته لأنظمتهم الخاصة. في الشهر الماضي، أعلنت ديب سيك عن شراكة مع Huawei لبناء أدوات برمجة لرقائق Ascend وفتحت مصدر ست وحدات برمجية للمنصة، بما في ذلك نسخة من TileLang مكيفة مع Ascend 950.
SiTech — تطوير ويب مدعوم بالذكاء الاصطناعي
نبني مواقع سريعة وعصرية وندمج الذكاء الاصطناعي في سير عمل الشركات. لديك مشروع أو سؤال؟ يسعدنا مساعدتك.