Jev مفيد دون بيانات تدريب، لكن احتمالاته غير مُعايَرة على بياناتك

Jev هو أول "System One Model" من TypeSafe: فبدلًا من توليد النص، يتلقى مدخلات غير مُهيكلة ويعيد قرارات مُنمَّطة من مجموعة مخرجات تحددها مسبقًا، مع احتمال مرفق بكل قرار. وتقول الشركة إن الإجابات مصحوبة باحتمالات مُعايَرة. وفي مقال نُشر في 23 سبتمبر 2026، يرى Alex Molas أن Jev مفيد، لكن ادعاء المعايرة لا يمكن أن يصح بشكل عام: ينبغي التعامل مع مخرجاته كدرجات لا كاحتمالات.

مفيد دون بيانات تدريب

يمكن تطبيق Jev على أي مسألة تصنيف دون جمع بيانات تدريب والحصول على نتائج معقولة. قال كثيرون على Twitter إنه "مجرد BERT مضبوط"، لكن ضبط BERT يتطلب بيانات، لذا عند غياب البيانات يكون Jev بديلًا جيدًا. كما أن Jev مصنّف عام، بينما BERT المضبوط ينفع فقط لمهمته. ولهذا السبب بالتحديد لا يمكن أن تكون احتمالاته مُعايَرة لك.

المعايرة تعتمد على توزيع بياناتك

تقول TypeSafe إن Jev دُرِّب باستخدام RLCD، أي تعلّم معزز للقرارات المُعايَرة، وإن الاحتمالات التي ينتجها مُعايَرة. لا يوافق Molas: يمكن أن يكون النموذج مُعايَرًا على بيانات TypeSafe ومع ذلك غير مُعايَر على بياناتك. المعايرة تعني أن أي احتمال متوقع p تكون فيه الاحتمال الحقيقي للفئة الموجبة، بشرط هذا التنبؤ، مساويًا p. إذا أعطى Jev رسالة احتمال بريد مزعج 0.7، فينبغي أن يكون نحو 70% من مثل هذه الرسائل بريدًا مزعجًا فعلًا.

المعايرة ليست خاصية للنموذج وحده، بل لتوزيع بياناتك أيضًا. يمكن أن يكون النموذج نفسه مُعايَرًا على مجموعة بيانات وغير مُعايَر على أخرى. قد تعرّف شركتان البريد المزعج بالطريقة نفسها وتختلف بياناتهما كثيرًا؛ ويعيد Jev الاحتمال نفسه لكلتيهما على المدخل نفسه والطلب نفسه. وحتى لو نجح RLCD في تدريب Jev ليكون مُعايَرًا على توزيع تدريبه وتقييمه، فقد لا تبقى احتمالاته مُعايَرة على بيانات الإنتاج لديك.

المشكلة أعمق من انزياح التوزيع

وجد الكاتب أيضًا أمثلة يقول فيها Jev إن قطعة نقدية عادلة تظهر كتابة باحتمال 0.92. الاحتمال الحقيقي مذكور في الطلب ومع ذلك لا يبلغ عنه النموذج، وهذا أسوأ من انزياح توزيع عادي. وإذا كان معنى الاحتمالات يتغير حسب الأولية التي تستخدمها، فماذا تعني "الاحتمالات المُعايَرة" أصلًا؟

أعد المعايرة أو تعامل مع المخرج كدرجة

إذا كنت تحتاج إلى احتمالات مُعايَرة، فسيتعين عليك إعادة معايرة أرقام Jev على بياناتك. والخبر السار أن ذلك رخيص: بضع مئات من الأمثلة الموسومة من بياناتك تكفي عادة لتطبيق Platt scaling على درجات Jev.

الخلاصة هي التعامل مع مخرجات Jev كدرجات جيدة، فهي ترتب الأمثلة جيدًا، لا كاحتمالات جيدة. وإذا كان نظامك يعتمد على الرقم الفعلي، مثل العتبات أو التكاليف أو الدمج مع نماذج أخرى، فقِس المعايرة على بياناتك.