Qwenputer-ը RISC-V պրոցեսոր է ներկառուցում Qwen3.5 մոդելի քաշերում

Qwenputer-ը ստանդարտ Qwen 3.5 4B մոդել է, որի քաշերում կոմպիլացված է RISC-V պրոցեսոր։ Պրոցեսորը մոդելի Gated DeltaNet ուշադրության շերտերը օգտագործում է որպես ճշգրիտ RAM և առաջային անցման ընթացքում աշխատեցնում է թվաբանություն, C և MicroPython կոդ առանց արտաքին գործիքների կամ կատարման միջավայրերի։ Այն ոչ պլագին է, ոչ գործիք, ոչ էլ sandbox։

Ինչպես է Gated DeltaNet-ը դառնում RAM

Qwen3.5-ի չորս ուշադրության շերտերից երեքը օգտագործում են Gated DeltaNet, որը գծային RNN է։ Յուրաքանչյուր head պահում է վիճակի մատրից, իսկ delta rule-ը թարմացնում է այն։ Դարպասը 1 դնելով, գրելու ուժը beta-ն 1 դնելով և օգտագործելով one-hot բանալու կոդավորում, գրառումները վերագրում են մեկ տող, իսկ հարցումները վերցնում են ճշգրիտ արժեք։ Սա GDN շերտերը դարձնում է RAM, որի վիճակի չափը չի աճում զրույցի երկարության հետ։ Schlag et al. (2021) ցույց տվեցին, որ գծային ուշադրությունը delta rule-ով կարող է գործել որպես ասոցիատիվ հիշողություն. Qwenputer-ը այն դարձնում է ճշգրիտ և հասցեավորելի արտադրական մոդելի ներսում։

CPU-ն մոդելի ներսում

CPU-ն 32-bit RISC-V միջուկ է RV32IM, Zba ընդլայնումով և փոքր bignum միավորով։ Այն զբաղեցնում է 11 շերտ Qwen-ի 32 շերտերից առաջ, անցնում է պաշտոնական riscv-tests, համընկնում է qemu-ի հետ և ազատ ռեժիմով աշխատել է 18 միլիոն հրահանգ առանց սխալի։ Այն կարող է նաև աշխատեցնել C և MicroPython, թեև որոշ չափով դանդաղ, և իրականացնում է լիարժեք RV32IM հրահանգների հավաքածուն։ Qwen 3.5 4B-ն օգտագործում է այն առանց post-training, ներքին կերպով, այլ ոչ թե արտաքին գործիքային կանչերի միջոցով. Qwen-ը հրահանգները ուղարկում է tool-call-ի նման ձևաչափով և կարդում պատասխանները։ Յուրաքանչյուր հրահանգ դառնում է մի քանի արտադրված token, որոնք կոչվում են ADDR, VAL և STEP, իսկ RvChat-ը բեռնում է firmware-ը GDN վիճակի մեջ և Qwen-ի շերտերից դուրս է պահում trace token-ները։ Qwen-ի բնօրինակ քաշերը մնում են անփոփոխ, իսկ computer-ի քաշերը ավելացվում են լրացուցիչ չափումներում և շերտերում։

Ճշտություն և սովորական տեքստ

DeepMind թվաբանության հավաքածուների վրա Qwenputer-ը ստացել է 97.5% div_big-ում, 97.5% mul_big-ում, 100% mul_div_multiple_longer-ում և 97.5% add_or_sub_big-ում։ Python գործիքով Qwen-ը ստացել է 95%, 100%, 97.5% և 97.5% այդ հավաքածուներում, իսկ base Qwen-ը 72.5%, 55%, 90% և 87.5%։ NUPA երկար ամբողջ թվերի թվաբանության վրա Qwenputer-ը բարելավվել է 48.6%-ից մինչև 100%, համընկնելով Python գործիքի հետ։ Մոտ 230,000 կրկնված արտածման դիրք համընկել է reference machine-ի հետ զրոյական անհամապատասխանությամբ։ Սովորական տեքստը մնացել է base Qwen-ի աղմուկի սահմաններում, KL 6e-4 աղմուկի սահմանի 5e-4-ի դեմ։

Փորձարարական ֆայլային համակարգ և սահմանափակումներ

Փորձարարական ֆայլային համակարգը բացահայտում է ներքին put, append, get, list և delete գործողություններ։ Ֆայլերի անունները hash են դառնում DeltaNet գրացուցակի 1,024 սլոտներից մեկում, տեքստը պահվում է այլ head-երում ութ token մեկ տողում շղթայակցված, իսկ բախումները ստուգում են հաջորդ սլոտը։ Այն պահում է մինչև 512 ֆայլ, մոտ 53,000 token տեքստ և պահպանված վիճակը կարող է ֆայլեր տեղափոխել զրույցների միջև։ Qwen-ը փոփոխված փաստերը ճիշտ է տալիս 90% դեպքերում, իսկ հին զրույցների տեքստի տեղադրման դեպքում 30%, և համեմատելի է Python հիշողության գործիքների հետ 83.3% ընդդեմ 78.9%-ի։ Սահմանափակումների թվում են 18.8 GB checkpoint-ը, RvChat driver-ի անհրաժեշտությունը և մոտ 3,200 CPU token վայրկյանում արագությունը L4-ի վրա։ Մոդելը աշխատում է մեկ 24 GB GPU-ի վրա, կոդը GitHub-ում է, իսկ մոդելները Hugging Face-ում և ModelScope-ում։

Աղբյուրներ: divagr.com