Qwenputer משבץ מעבד RISC-V בתוך המשקלים של Qwen3.5

Qwenputer הוא מודל Qwen 3.5 4B סטנדרטי שאל תוך המשקלים שלו קומפל מעבד RISC-V. המעבד משתמש בשכבות הקשב Gated DeltaNet של המודל כזיכרון RAM מדויק, ומריץ אריתמטיקה, קוד C ו-MicroPython במהלך מעברי הפענוח קדימה, בלי כלים חיצוניים ובלי סביבת הרצה. הוא אינו תוסף, אינו כלי ואינו ארגז חול.

כיצד Gated DeltaNet הופך לזיכרון RAM

שלוש מתוך ארבע שכבות הקשב ב-Qwen3.5 משתמשות ב-Gated DeltaNet, שהוא RNN ליניארי. כל ראש שומר מטריצת מצב, וכלל הדלתא מעדכן אותה. כשקובעים את השער ל-1, את עוצמת הכתיבה beta ל-1 ומשתמשים בקידוד מפתחות one-hot, כל כתיבה דורסת שורה אחת, וכל שאילתה שולפת ערך מדויק. כך פועלות שכבות ה-GDN בדיוק כמו RAM, וגודל המצב שלהן אינו גדל עם אורך השיחה. Schlag ואחרים (2021) הראו שקשב ליניארי עם כלל דלתא יכול לשמש זיכרון אסוציאטיבי; Qwenputer הופך אותו למדויק ולניתן למיעון בתוך מודל ייצור.

מעבד בתוך המודל

המעבד הוא ליבת RISC-V בת 32 סיביות עם RV32IM, הרחבת Zba ויחידת bignum קטנה, והוא תופס 11 שכבות לפני 32 השכבות של Qwen. הוא עובר את חבילת הבדיקות הרשמית riscv-tests, תוכניותיו תואמות ל-qemu, והוא הריץ 18 מיליון הוראות בהרצה חופשית בלי שגיאה אחת. הוא מריץ גם קוד C ו-MicroPython, אם כי לאט יחסית, ומיישם את מלוא סט ההוראות RV32IM. Qwen 3.5 4B משתמש בו בלי אימון נוסף, באופן פנימי ולא דרך קריאות לכלים חיצוניים: Qwen שולח לו הוראות בפורמט שדומה לקריאת כלי וקורא את התשובות. כל הוראה הופכת לכמה טוקנים מחוללים, ADDR, VAL ו-STEP, ו-RvChat טוען את הקושחה למצב ה-GDN ומרחיק את טוקני המעקב מהשכבות של Qwen. המשקלים המקוריים של Qwen נשארים ללא שינוי, ומשקלי המחשב מתווספים בממדים ובשכבות נוספים.

דיוק וטקסט רגיל

במערכי האריתמטיקה של DeepMind השיג Qwenputer 97.5% ב-div_big, 97.5% ב-mul_big, 100% ב-mul_div_multiple_longer ו-97.5% ב-add_or_sub_big. עם כלי Python השיג Qwen 95%, 100%, 97.5% ו-97.5% באותם מערכים, ואילו Qwen הבסיסי השיג 72.5%, 55%, 90% ו-87.5%. באריתמטיקה של מספרים שלמים ארוכים של NUPA הוא שיפר מ-48.6% ל-100%, בדיוק כמו כלי Python. כ-230,000 ממיקומי הפלט שהושמעו שוב תאמו למכונת ייחוס, בלי אי-התאמה אחת. הטקסט הרגיל נשאר בתוך תחום הרעש של Qwen הבסיסי, עם KL של 6e-4 מול רצפת רעש של 5e-4.

מערכת קבצים ניסיונית ומגבלות

מערכת הקבצים הניסיונית חושפת פעולות פנימיות put, append, get, list ו-delete. שמות קבצים נגזרים בגיבוב לאחד מ-1,024 תאים במדריך שמנוהל במצב DeltaNet, הטקסט נשמר בראשים אחרים בשמונה טוקנים לשורה, בשרשור, ובמקרה של התנגשות נבדק התא הבא. היא מחזיקה עד 512 קבצים, כ-53,000 טוקנים של טקסט, ומצב שמור יכול לשאת קבצים משיחה לשיחה. Qwen עונה נכון על עובדות שהשתנו ב-90% מהמקרים, לעומת 30% כשמדביקים שיחות ישנות, והוא ברמה של כלי זיכרון שרצים ב-Python: 83.3% מול 78.9%. המגבלות כוללות נקודת שמירה בגודל 18.8 GB, צורך במנהל RvChat ובמהירות של כ-3,200 טוקני CPU בשנייה על L4. המודל רץ על GPU יחיד של 24 GB, הקוד ב-GitHub והמודלים ב-Hugging Face וב-ModelScope.

מקורות: divagr.com