Qwenputer يدمج معالجاً من نوع RISC-V في أوزان Qwen3.5

Qwenputer هو نموذج Qwen 3.5 4B قياسي مع معالج RISC-V مُجمّع في أوزانه. يستخدم المعالج طبقات attention من نوع Gated DeltaNet في النموذج كذاكرة RAM دقيقة، ويشغّل حساباً وشيفرة C وMicroPython أثناء التمرير الأمامي دون أدوات أو بيئة تشغيل خارجية. وهو ليس إضافة أو أداة أو sandbox.

كيف تصبح Gated DeltaNet ذاكرة RAM

ثلاث من أربع طبقات attention في Qwen3.5 تستخدم Gated DeltaNet، وهو RNN خطي. كل رأس يحتفظ بحالة، وتقوم قاعدة delta بتحديثها. بضبط البوابة على 1، وقوة الكتابة beta على 1، واستخدام ترميز one-hot للمفاتيح، تكتب العمليات فوق صف واحد وتسترجع الاستعلامات قيمة دقيقة. هذا يجعل طبقات GDN تعمل كذاكرة RAM، مع حجم حالة لا يكبر مع طول المحادثة. أظهر Schlag وآخرون (2021) أن attention الخطي مع قاعدة delta يمكن أن يعمل كذاكرة ارتباطية؛ ويجعل Qwenputer هذا دقيقاً وقابلاً للعنونة داخل نموذج إنتاج.

معالج داخل النموذج

المعالج هو نواة RISC-V بـ 32 بت مع RV32IM وامتداد Zba ووحدة bignum صغيرة. يأخذ 11 طبقة أمام 32 طبقة Qwen، ويجتاز اختبارات riscv-tests الرسمية، ويتوافق مع qemu، وشغّل 18 مليون تعليمة في تشغيل مستمر دون خطأ. يمكنه أيضاً تشغيل C وMicroPython، وإن كان ذلك ببطء نسبي، وينفذ مجموعة تعليمات RV32IM كاملة. يستخدم Qwen 3.5 4B ذلك دون post-training، داخلياً بدلاً من استدعاءات أدوات خارجية: يرسل Qwen التعليمات بتنسيق يشبه استدعاء الأدوات ويقرأ الاستجابات. كل تعليمة تصبح بضعة tokens مولدة باسم ADDR وVAL وSTEP، بينما يحمّل RvChat البرنامج الثابت في حالة GDN ويمنع tokens التتبع من طبقات Qwen. تبقى أوزان Qwen الأصلية دون تغيير، مع إضافة أوزان الحاسوب في أبعاد وطبقات إضافية.

الدقة والنص العادي

في مجموعات DeepMind للحساب، سجل Qwenputer 97.5% على div_big، و97.5% على mul_big، و100% على mul_div_multiple_longer، و97.5% على add_or_sub_big. مع أداة Python، سجل Qwen 95% و100% و97.5% و97.5% على تلك المجموعات، بينما سجل Qwen الأساسي 72.5% و55% و90% و87.5%. في حساب NUPA للأعداد الصحيحة الطويلة، تحسّن Qwenputer من 48.6% إلى 100%، مطابقاً لأداة Python. تطابق نحو 230,000 موضع إخراج معاد تشغيله مع آلة مرجعية دون أي عدم تطابق. بقي النص العادي ضمن ضوضاء Qwen الأساسي، مع KL 6e-4 مقابل أرضية ضوضاء 5e-4.

نظام ملفات تجريبي والحدود

يعرض نظام الملفات التجريبي عمليات داخلية put وappend وget وlist وdelete. تُجزأ أسماء الملفات إلى أحد 1,024 خانة في دليل DeltaNet، ويُخزَّن النص في رؤوس أخرى بثمانية tokens في كل صف مترابطة معاً، وتتحقق التصادمات من الخانة التالية. ويستوعب حتى 512 ملفاً، ونحو 53,000 token من النص، ويمكن للحالة المحفوظة نقل الملفات عبر المحادثات. يُصيب Qwen الحقائق المُعدَّلة 90% من الوقت، مقابل 30% عند لصق محادثات قديمة، وهو على قدم المساواة مع أدوات ذاكرة Python (83.3% مقابل 78.9%). تشمل الحدود checkpoint بحجم 18.8 GB، وحاجة إلى driver RvChat، وسرعة نحو 3,200 token CPU في الثانية على L4. يعمل النموذج على GPU واحد بسعة 24 GB، مع شيفرة على GitHub ونماذج على Hugging Face وModelScope.

Sources: divagr.com