العودة

هاوي مختبر منزلي يشغّل نموذج Kimi K3 بـ2.8 تريليون معامل على بطاقتي RTX 3090 وOptane بسرعة 3.11 توكن في الثانية
SiTech AI Team3 دقيقة قراءة

هاوي مختبر منزلي يشغّل نموذج Kimi K3 بـ2.8 تريليون معامل على بطاقتي RTX 3090 وOptane بسرعة 3.11 توكن في الثانية

أضاف أحد هواة المختبرات المنزلية بطاقتي RTX 3090 إلى بناء Optane من الجيل الثاني، ليشغّل نموذج Kimi K3 من Moonshot بـ2.8 تريليون معامل بسرعة 3.11 توكن في الثانية، فيما رفع نقل ما يقارب نصف النموذج إلى قرص RAM سرعة التوليد بنحو 41%.

وصف أحد هواة المختبرات المنزلية تحسينات على بناء Optane للذكاء الاصطناعي من الجيل الثاني في منشور متابعة على Reddit، إذ أضاف بطاقتي RTX 3090 لتشغيل نموذج Kimi K3 من Moonshot بـ2.8 تريليون معامل بسرعة 3.11 توكن في الثانية. ونقل ما يقارب نصف النموذج إلى قرص RAM رفع سرعة التوليد بنحو 41% وسرعة تقييم التوجيه بنحو 26%. ولا يزال البناء بحاجة إلى مراوح إضافية لأن ذاكرة Optane ترتفع حرارتها كثيرًا.

الأداء مع قرص RAM وبدونه

مع وجود البطاقتين دون قرص RAM، عمل البناء بسرعة 2.20 توكن في الثانية للتوليد و13.3 توكن في الثانية لتقييم التوجيه. وعندما وُضعت 45 من 94 شريحة، أي 414 GB من أصل 865 GB من النموذج، في قرص RAM من نوع tmpfs وبقي الباقي في Optane، بلغ التوليد 3.11 توكن في الثانية وبلغ تقييم التوجيه 16.8 توكن في الثانية. وأجرى صاحب البناء قياساته باستخدام llama.cpp مع تفعيل DAX لجزء Optane.

وهذا الترتيب ليس جديدًا على الهواة الذين يخصصون ذاكرة النظام لأداء فائق السرعة بطريقة شبه غير متطايرة، إذ تظهر وكأنها قرص، لكن ليس كل شخص لديه اليوم هذا القدر من ذاكرة RAM الفارغة.

كيف تُستخدم البطاقات والذاكرة

تحتوي كل بطاقة RTX 3090 على 24 GB من ذاكرة VRAM، أي 48 GB إجمالًا، وهو نحو 5.5% من ملف النموذج البالغ 865 GB، لذلك لا تحتفظ البطاقتان بالنموذج. والنموذج من نوع خليط الخبراء، ويضم 896 خبيرًا؛ يُختار 16 خبيرًا لكل توكن إضافة إلى خبيرين مشتركين، مع 104 مليارات معامل نشط من أصل 2.8 تريليون. وتبقى موترات الخبراء الموجَّهة على جانب المعالج المركزي، في Optane وقرص RAM، بينما تتولى بطاقتا RTX 3090 معالجة الانتباه وطبقة الشبكة الأمامية الكثيفة والخبراء المشتركين والمكوّنات النشطة الكثيفة الأخرى وذاكرة KV المؤقتة وسياق المحادثة المحفوظ ومخازن الحوسبة الخاصة بالبطاقات.

وذاكرة DRAM أبطأ من VRAM، لكنها قادرة مع ذلك على تقديم تسريع ملموس، وقد جاءت السرعة مع البطاقتين داخل النطاق الذي توقعه صاحب البناء بعد تخمينه سرعة بين 2 و4 توكن في الثانية في موضوع البناء الأصلي.

حجم النموذج والتكميم

لو حُفظت المعاملات الـ2.8 تريليون كلها بدقة 16 بت لشغلت نحو 5.6 TB. ويستخدم إصدار Moonshot الرسمي صيغة MXFP4 بدقة 4 بت ويبلغ نحو 1.56 TB، بينما يقلّص ملف Q2_K المستخدم هنا النموذج إلى 865 GB، أي أقل من 3 بتات لكل معامل في المتوسط. ويشير التقرير إلى أن رقم 865 GB مرجّح أن يكون بالجيبيبايت، لكنه يستخدم قيم GB كما كتبها الهاوي.

التبريد والخطط المستقبلية

انتظر تركيب البطاقتين جزئيًا تعديلات على الصندوق تطلّبت قطع بعض المعدن ونقل وحدة التغذية لإفساح مكان للبطاقتين وتبريدهما. ويبقى التبريد مشكلة كبيرة، إذ تُبقي مروحتا النفخ بقدرة 12W المخصصتان لوحدات Optane DIMM في مكانهما حتى مع بطاقتين من فئة 350W. ويرى صاحب البناء مزيدًا من التحسينات في الأفق، منها "التكميم المخصص" الذي قد يشبه تقنيات استخدمها المحامي نيك ميرميغيس، ويشير إلى أن السرعة وحدها لا تكفي لأن جودة المخرجات يجب أن تُؤخذ في الحسبان أيضًا.

المصادر: Tom's Hardware

SiTech

SiTech — تطوير ويب مدعوم بالذكاء الاصطناعي

نبني مواقع سريعة وعصرية وندمج الذكاء الاصطناعي في سير عمل الشركات. لديك مشروع أو سؤال؟ يسعدنا مساعدتك.