Qwen3.8-Flash-Next: فريق Qwen يقدّم معاينة لمعمارية الجيل القادم Qwen4

نشر فريق Qwen في شركة علي بابا في 26 أغسطس نموذج Qwen3.8-Flash-Next، وهو نموذج تجريبي بأوزان مفتوحة تقول الشركة إنه يمهد للمعمارية التي سيقوم عليها الجيل Qwen4. نُشرت الأوزان على Hugging Face بموجب رخصة qwen-community-1.0، وهي متوافقة مع Transformers وvLLM وSGLang وTokenSpeed.

انتباه هجين وQSA

التغيير الجوهري معماري: أُعيد بناء الاقتران بين Gated DeltaNet وGated Attention ليصبح Gated DeltaNet مع Qwen Sparse Attention (QSA). فبدل اختيار رموز منفردة، يختار QSA السياق المهم على مستوى الكتل الدقيقة، ما يقلل زمن الاستجابة في السياقات الطويلة بشكل ملحوظ؛ ويرى الفريق أن هذا مكسب حاسم مع تنامي أحمال الوكلاء في الاستخدام الفعلي.

Gated Residual وتضمين n-gram

ينظّم Gated Residual تدفق المعلومات في مسارات residual الموسّعة عبر بوابة قراءة تعتمد على البيانات وبوابة كتابة قياسية لكل فرع، ما يحافظ على استقرار التدريب ويزيد القدرة التعبيرية. أما تضمين n-gram فيقدّم محورًا مستقلًا لتوسيع المعاملات: فهو يتطلب حسابًا أقل من mixture-of-experts وأسهل في النقل إلى ذاكرة خارجية، وهو ما يفيد المسرّعات المحدودة الذاكرة.

الحجم ونتائج الاختبارات

يضم النموذج 125 مليار معامل، منها 6 مليارات فقط نشطة في الوقت نفسه، إضافة إلى 51 مليار معامل لتضمين n-gram و4 مليارات لـMTP. ويتكوّن من 48 طبقة و512 خبيرًا (10 موجّهة وخبير مشترك). نافذة السياق 262,144 رمزًا بطبيعتها وقابلة للتوسيع إلى مليون. وفي النتائج المنشورة يحقق Qwen3.8-Flash-Next نتيجة 62.5 في SWE-bench Pro و58.7 في DeepSWE 1.1 و81.0 في SWE-bench Multilingual و48.1 في NL2Repo-Bench و73.9 في CoWorkBench.

ماذا يعني ذلك للمطورين

على صعيد التدريب، تقول Qwen إن المحسّنين Muon وAdamW يُطبّقان على فئات أوزان محددة، وإن تسخين حجم الدفعة التقليدي أُلغي ليبدأ التدريب مباشرة بالحجم المستهدف. ويعمل الإصدار الإنتاجي Qwen3.8-Flash في السحابة بسياق مليون رمز افتراضيًا وأدوات مدمجة، بينما تبقى الأوزان المفتوحة متاحة للتشغيل الذاتي. نُشر التقرير التقني في مستودع Qwen على GitHub.