Qwenputer вбудовує процесор RISC-V у ваги Qwen3.5

Qwenputer є звичайною моделлю Qwen 3.5 4B, у ваги якої скомпільовано процесор RISC-V. Процесор використовує шари уваги Gated DeltaNet моделі як точну оперативну пам’ять і виконує арифметику, код C та MicroPython під час прямого проходу без зовнішніх інструментів або середовищ виконання. Це не плагін, не інструмент і не пісочниця.

Як Gated DeltaNet стає оперативною пам’яттю

Три з чотирьох шарів уваги в Qwen3.5 використовують Gated DeltaNet, лінійну RNN. Кожна голова зберігає матрицю стану, а правило дельти оновлює її. Якщо встановити вентиль у 1, силу запису beta у 1 і використати one-hot кодування ключів, записи перезаписують один рядок, а запити отримують точне значення. Це робить шари GDN оперативною пам’яттю, розмір стану якої не зростає з довжиною розмови. Schlag et al. (2021) показали, що лінійна увага з правилом дельти може працювати як асоціативна пам’ять; Qwenputer робить її точною й адресованою всередині робочої моделі.

Процесор усередині моделі

Процесор є 32-бітним ядром RISC-V з RV32IM, розширенням Zba і невеликим блоком великих чисел. Він займає 11 шарів перед 32 шарами Qwen, проходить офіційні riscv-tests, збігається з qemu і виконав 18 мільйонів інструкцій у вільному режимі без помилок. Він також може запускати C і MicroPython, хоч і дещо повільно, та реалізує повний набір інструкцій RV32IM. Qwen 3.5 4B використовує його без доналаштування, усередині, а не через зовнішні виклики інструментів: Qwen надсилає інструкції у форматі, схожому на виклик інструменту, і читає відповіді. Кожна інструкція стає кількома згенерованими токенами з назвами ADDR, VAL і STEP, тоді як RvChat завантажує прошивку в стан GDN і не пропускає трасувальні токени в шари Qwen. Початкові ваги Qwen залишаються незмінними, а ваги комп’ютера додаються в додаткові виміри та шари.

Точність і звичайний текст

У наборах арифметики DeepMind Qwenputer отримав 97.5% на div_big, 97.5% на mul_big, 100% на mul_div_multiple_longer і 97.5% на add_or_sub_big. З інструментом Python Qwen отримав 95%, 100%, 97.5% і 97.5% на цих наборах, тоді як базовий Qwen отримав 72.5%, 55%, 90% і 87.5%. У довгій цілочисельній арифметиці NUPA Qwenputer покращився з 48.6% до 100%, збігшись з інструментом Python. Близько 230 000 відтворених позицій виводу збіглися з еталонною машиною без розбіжностей. Звичайний текст залишився в межах шуму базового Qwen, з KL 6e-4 проти шумового порогу 5e-4.

Експериментальна файлова система та обмеження

Експериментальна файлова система відкриває внутрішні операції put, append, get, list і delete. Назви файлів хешуються в один із 1 024 слотів каталогу DeltaNet, текст зберігається в інших головах по вісім токенів у рядку, з’єднаних ланцюжком, а колізії перевіряють наступний слот. Вона вміщує до 512 файлів, приблизно 53 000 токенів тексту, а збережений стан може переносити файли між розмовами. Qwen правильно відповідає на змінені факти у 90% випадків проти 30% під час вставляння старих чатів і є на рівні з інструментами пам’яті Python: 83.3% проти 78.9%. Обмеження включають контрольну точку 18.8 ГБ, потребу в драйвері RvChat і швидкість близько 3 200 CPU-токенів за секунду на L4. Модель працює на одному GPU з 24 ГБ, код доступний на GitHub, а моделі на Hugging Face і ModelScope.

Джерела: divagr.com