Qwen3.8-Flash-Next: צוות Qwen מציג תצוגה מוקדמת לארכיטקטורה שתוביל את Qwen4

צוות Qwen של Alibaba פרסם ב-26 באוגוסט את Qwen3.8-Flash-Next — מודל ניסיוני עם משקלים פתוחים שלפי החברה מתווה את הארכיטקטורה שתוביל את Qwen4. המשקלים פורסמו ב-Hugging Face תחת רישיון qwen-community-1.0 והם תואמים ל-Transformers, vLLM, SGLang ו-TokenSpeed.

קשב היברידי ו-QSA

השינוי המרכזי הוא ארכיטקטוני: הצימוד של Gated DeltaNet ו-Gated Attention הוחלף ב-Gated DeltaNet ו-Qwen Sparse Attention (QSA). במקום לבחור טוקנים בודדים, QSA בוחר את ההקשר הרלוונטי ברזולוציה של מיקרו-בלוקים, מה שמקצר משמעותית את זמן התגובה בהקשרים ארוכים — יתרון קריטי כשעומסי סוכנים תופסים חלק הולך וגדל מהשימוש בפועל.

Gated Residual והטמעת n-gram

Gated Residual מווסת את זרימת המידע בזרמי ה-residual המורחבים באמצעות שער קריאה שתלוי בנתונים ושער כתיבה סקלרי לכל ענף, וכך שומר על יציבות האימון ומוסיף כושר ביטוי. הטמעת n-gram פותחת ציר נפרד להרחבת פרמטרים: היא דורשת פחות חישוב מ-mixture-of-experts וקלה יותר להעברה לזיכרון חיצוני, יתרון במאיצים עם זיכרון מוגבל.

קנה מידה ותוצאות מבחנים

למודל 125 מיליארד פרמטרים, שרק 6 מיליארד מהם פעילים בו-זמנית, ובנוסף 51 מיליארד פרמטרים של הטמעת n-gram ו-4 מיליארד פרמטרים של MTP. יש בו 48 שכבות ו-512 מומחים (10 מנותבים ואחד משותף). חלון ההקשר עומד על 262,144 טוקנים באופן טבעי וניתן להרחבה עד למיליון. בתוצאות שפורסמו Qwen3.8-Flash-Next משיג 62.5 ב-SWE-bench Pro, ‏58.7 ב-DeepSWE 1.1, ‏81.0 ב-SWE-bench Multilingual, ‏48.1 ב-NL2Repo-Bench ו-73.9 ב-CoWorkBench.

מה זה אומר למפתחים

בתהליך האימון Qwen מציינת שהאופטימיזטורים Muon ו-AdamW מוחלים על קטגוריות משקל מסוימות, ושלב חימום גודל האצווה בוטל — האימון מתחיל ישירות בגודל היעד. במקביל, גרסת הייצור Qwen3.8-Flash רצה בענן עם חלון הקשר של מיליון טוקנים כברירת מחדל וכלים מובנים, בעוד המשקלים הפתוחים נשארים להרצה עצמאית. הדוח הטכני פורסם במאגר Qwen ב-GitHub.