Qwenputer, Qwen3.5 Ağırlıklarına RISC-V CPU Gömüyor

Qwenputer, ağırlıklarına bir RISC-V CPU derlenmiş stok bir Qwen 3.5 4B modelidir. CPU, modelin Gated DeltaNet dikkat katmanlarını tam RAM olarak kullanır ve dış araç veya çalışma zamanı olmadan ileri geçişler sırasında aritmetik, C ve MicroPython kodu çalıştırır. Eklenti, araç veya korumalı alan değildir.

Gated DeltaNet nasıl RAM olur

Qwen3.5 içindeki dört dikkat katmanından üçü, doğrusal bir RNN olan Gated DeltaNet kullanır. Her başlık bir durum matrisi tutar ve delta kuralı bunu günceller. Gate'i 1, yazma gücü beta'yı 1 yaparak ve one-hot anahtar kodlaması kullanarak yazmalar tek bir satırı üzerine yazar, sorgular ise tam bir değer alır. Bu, GDN katmanlarını RAM gibi çalıştırır; durum boyutu konuşma uzunluğuyla büyümez. Schlag ve arkadaşları (2021), delta kuralı ile doğrusal dikkatin ilişkisel bellek gibi davranabileceğini gösterdi; Qwenputer bunu üretim modelinin içinde tam ve adreslenebilir hale getirir.

Modelin içindeki CPU

CPU, RV32IM, Zba uzantısı ve küçük bir bignum birimi içeren 32 bitlik bir RISC-V çekirdeğidir. Qwen'in 32 katmanının önünde 11 katman alır, resmi riscv-tests testlerinden geçer, qemu ile eşleşir ve 18 milyon komutluk serbest çalıştırmayı hatasız tamamladı. Ayrıca C ve MicroPython çalıştırabilir, biraz yavaştır ve tam RV32IM komut kümesini uygular. Qwen 3.5 4B, bunu sonradan eğitim olmadan ve dış araç çağrıları yerine dahili olarak kullanır: Qwen, araç çağrısına benzer bir biçimde komutlar gönderir ve yanıtları okur. Her komut, ADDR, VAL ve STEP adlı birkaç üretilen token haline gelir; RvChat, yazılımı GDN durumuna yükler ve iz tokenlarını Qwen'in katmanlarından uzak tutar. Qwen'in özgün ağırlıkları değişmeden kalır; bilgisayar ağırlıkları ek boyutlarda ve katmanlarda eklenir.

Doğruluk ve normal metin

DeepMind aritmetik kümelerinde Qwenputer, div_big için %97,5, mul_big için %97,5, mul_div_multiple_longer için %100 ve add_or_sub_big için %97,5 puan aldı. Python aracılı Qwen bu kümelerde sırasıyla %95, %100, %97,5 ve %97,5 puan alırken temel Qwen %72,5, %55, %90 ve %87,5 puan aldı. NUPA uzun tam sayı aritmetiğinde Qwenputer %48,6'dan %100'e çıktı ve bir Python aracına denk geldi. Yaklaşık 230.000 yeniden oynatılan çıktı konumu, sıfır uyuşmazlıkla referans makineyle eşleşti. Normal metin, temel Qwen'in gürültü aralığında kaldı; KL değeri 6e-4 olup gürültü tabanı 5e-4 idi.

Deneysel dosya sistemi ve sınırlar

Deneysel dosya sistemi, dahili put, append, get, list ve delete işlemleri sunar. Dosya adları, bir DeltaNet dizinindeki 1.024 yuvadan birine hash olur; metin sekiz tokenlik satırlar halinde zincirlenerek diğer başlıklarda saklanır ve çakışmalarda sonraki yuva denetlenir. En fazla 512 dosya, yaklaşık 53.000 token metin tutar ve kaydedilen durum, dosyaları konuşmalar arasında taşıyabilir. Qwen değiştirilmiş olguları %90 oranında doğru alır; eski sohbetler yapıştırıldığında ise %30, Python bellek araçlarıyla %83,3'e karşı %78,9 düzeyinde denktir. Sınırlar arasında 18,8 GB kontrol noktası, RvChat sürücüsü gereksinimi ve L4 üzerinde saniyede yaklaşık 3.200 CPU token hızı bulunur. Model tek bir 24 GB GPU üzerinde çalışır; kod GitHub'da, modeller Hugging Face ve ModelScope üzerinde yer alır.

Kaynaklar: divagr.com