OpenJev מריץ מודל קבלת החלטות ישירות בדפדפן

האתר openjev.com מציג את עצמו כניסוי חי ומקומי בשם SemIf — if סמנטיים ממודלים פתוחים, בדפדפן שלכם. אין הרשמה ואין רשימת המתנה: המשתמש בוחר גודל מודל, טוען אותו על ה-GPU שלו ומשווה שתי דרכים להפיק החלטה מאותם משקלים. שום דבר לא נשלח לשרת, והעמוד מציין במפורש שהקלט אינו עוזב אותו.

שאלה אחת, שתי דרכים

הניסוי מציג החלטה אחת — מצב, שאלה ורשימת אפשרויות מותרות — למודל מקומי אחד, ואז עונה עליה בשני מסלולים. הראשון הוא קריאה ישירה: הקוד קורא את הלוגיטים של הבחירה ומנרמל אותם רק בין האפשרויות שהוזנו, בלי שלב פענוח. השני הוא יצירה: מאותו מודל מתבקשים להעריך את אותה התפלגות ולכתוב אותה כ-JSON, טוקן אחר טוקן.

שתי ההרצות מתבצעות ברצף על אותו מודל טעון, כדי שלא יתחרו על אותו GPU. הקריאה הישירה רצה ראשונה, ואחריה היצירה.

כל מדידה מגיעה מהמחשב של המשתמש

האתר מודד טעינה, חימום, הכנת הפרומפט, הרצה ישירה, את הטוקן הראשון שנוצר ואת סיום היצירה באמצעות performance.now(). הוא מציין שלא מוצגות תוצאות מוכנות מראש: היחס שעל המסך הוא זה שנוצר על החומרה של המשתמש עצמו.

ההסתייגויות שהדמו מפרט

ההסברים שפורסמו זהירים במיוחד. ציוני הקריאה הישירה הם softmax רק על טוקני האפשרויות המוצגות: זו אינה ביטחון מכוייל, והיא אינה מכסה כל תשובה שהמודל היה עשוי להעדיף. MiniCPM5 2B הוא ברירת המחדל לשולחני, בנפח 1.56 ג'יגה-בייט; למכשירים קטנים מומלץ Qwen3 0.6B, ואפשרות 4B דורשת זיכרון רב בהרבה. אף אחד מהם לא מוצהר כמשתווה לערכים שפורסמו של Jev.

המשקלים נטענים מ-Hugging Face ונשארים במטמון הדפדפן, באמצעות גרסאות GGUF מוצמדות דרך wllama. כימות עשוי לשנות גם את האיכות וגם את המהירות, והעמוד מזהיר שטעינה ראשונה עשויה להימשך דקות אחדות בהתאם למודל, לרשת ול-GPU.