OpenJev karar modelini doğrudan tarayıcıda çalıştırıyor

openjev.com sayfası kendisini SemIf başlığı altında canlı ve yerel bir deney olarak sunuyor: açık modellerden gelen anlamsal if'ler, tarayıcınızda. Kayıt ya da bekleme listesi yok; kullanıcı bir model boyutu seçiyor, modeli kendi GPU'suna yüklüyor ve aynı ağırlıklardan karar çıkarmanın iki yolunu karşılaştırıyor. Hiçbir şey sunucuya gönderilmiyor ve sayfa, girdilerin sayfadan çıkmadığını açıkça belirtiyor.

Aynı soru, iki yol

Deney tek bir kararı — bir durum, bir soru ve izin verilen seçenekler listesi — tek bir yerel modele veriyor ve iki yoldan yanıtlıyor. Birincisi doğrudan okuma: kod, modelin seçim logitlerini okur ve yalnızca verilen seçenekler arasında normalize eder; kod çözme adımı yoktur. İkincisi üretim: aynı modelden aynı dağılımı tahmin etmesi ve bunu JSON olarak token token yazması istenir.

İki çalıştırma, aynı GPU için yarışmamaları adına yüklü tek model üzerinde sırayla gerçekleşir. Önce doğrudan okuma, ardından üretim.

Ölçümler kullanıcının makinesinden geliyor

Sayfa; kurulum, ısınma, istem hazırlığı, doğrudan yürütme, üretilen ilk token ve üretimin tamamlanmasını performance.now() ile zamanlıyor. Önceden hazırlanmış sonuç gösterilmediğini belirtiyor: ekrandaki oran, kullanıcının kendi donanımında üretilen orandır.

Demoda açıkça yazılan uyarılar

Yayımlanan notlar alışılmadık ölçüde dikkatli. Doğrudan okuma puanları yalnızca gösterilen seçenek token'ları üzerinden alınan bir softmax'tır: kalibre edilmiş bir güven değildir ve modelin tercih edebileceği her yanıtı kapsamaz. MiniCPM5 2B (1,56 GB) masaüstü için varsayılan; telefonlar ve küçük cihazlar için Qwen3 0.6B öneriliyor, 4B seçeneği ise belirgin biçimde daha fazla bellek istiyor. Hiçbiri, yayımlanmış Jev değerleriyle eşleştiğini iddia etmiyor.

Ağırlıklar Hugging Face'ten indiriliyor ve tarayıcı önbelleğinde kalıyor; wllama üzerinden sabitlenmiş GGUF derlemeleri kullanılıyor. Nicemleme hem kaliteyi hem hızı değiştirebilir ve sayfa, ilk yüklemenin modele, ağa ve GPU'ya bağlı olarak birkaç dakika sürebileceği uyarısını yapıyor.