Privatemode تحوّل GLM-5.3-Flash إلى نموذج قرارات على غرار Jev

أظهرت Privatemode AI كيفية تحويل نموذج لغوي جاهز إلى نموذج لاتخاذ القرارات. وفي تدوينة نُشرت في 24 سبتمبر، ذكرت الشركة الألمانية المتخصصة في الحوسبة السرية أن GLM-5.3-Flash يعيد قرارات مصنّفة مع احتمال لكل خيار في تمريرة أمامية واحدة ودون أي ضبط دقيق.

النماذج المبنية لهذه المهمة، مثل Jev من TypeSafe وLaya من Convai، تعيد الخيار المختار مع قيمة ثقة لكل خيار. أما طريقة Privatemode فتستخرج السلوك نفسه من نموذج لغوي جاهز.

كيف تعمل الطريقة

النموذج اللغوي لا يكتب النص مباشرة: في كل خطوة يُخرج توزيعاً احتمالياً على كامل مفرداته. والطريقة تستفيد من ذلك تحديداً. تُدخل الحالة والسؤال والخيارات المرقّمة إلى الأمر النصي بصيغة JSON، وينتهي الأمر النصي أصلاً بالبادئة choice_index:، لذا يجب أن يكون الرمز التالي للنموذج رقم خيار. ولا تقرأ المكتبة ذلك الرمز، بل تقرأ الاحتمالات التي خصّصها النموذج لكل أرقام الخيارات في ذلك الموضع، ثم تعيد تطبيعها على الخيارات.

يشغّل التطبيق نموذج GLM-5.3-Flash على vLLM ويستخدم نقطة النهاية /chat/completions مع المعاملين continue_final_message وadd_generation_prompt: false. وتضيّق allowed_token_ids في vLLM المفردات إلى أرقام الخيارات فقط، بينما يعيد logprob_token_ids لوغاريتمات الاحتمال للرموز المطلوبة تحديداً.

دقة على مستوى Jev

اختبر المؤلفون ثلاثة أنظمة على 29 مجموعة بيانات عامة ومصنّفة تضم من خيارين إلى 151 خياراً، بنصوص إنجليزية وألمانية. وعلى مجموعات النصوص الـ28 يتعادل GLM-5.3-Flash وJev: كل منهما أدق في 10 مجموعات، وفي ثمانٍ يقل الفارق عن نقطة مئوية واحدة، أما الفارق الوسيط البالغ 0.7 نقطة لصالح Jev فليس ذا دلالة إحصائية (p = 0.64). ويتأخر Laya، وهو نموذج بـ421 مليون معامل يعمل محلياً، عن كليهما بمقدار 13-15 نقطة.

زمن الاستجابة والتكلفة والصور

يعتمد زمن الاستجابة على الموقع: عند قياس طلب واحد في كل مرة أجاب Privatemode من ألمانيا خلال 180 ميلي ثانية مقابل 264 ميلي ثانية لـJev، ومن الولايات المتحدة ينعكس الترتيب، 164 ميلي ثانية لـJev مقابل 299 لـPrivatemode. أما التكلفة فهي أقل مع Jev: يكلف مليون قرار نحو 62 يورو مع GLM-5.3-Flash ونحو 16 يورو مع Jev. ويضيف Jev نحو 270 رمزاً ثابتاً لكل سؤال و10 لكل خيار، بينما يضيف أمر GLM-5.3-Flash نحو 55 و20.

ولأن GLM-5.3-Flash قادر على معالجة الصور، يمكن أن يتضمن السؤال صورة؛ أما Jev وLaya فيعملان بالنص فقط. وفي RVL-CDIP، وهي مجموعة من 1,600 مستند تجاري ممسوح ضوئياً في 16 فئة، يبلغ النموذج دقة 70.2%، مع إضافة الصورة لنحو 1,350 رمزاً إدخالياً. ويشير المؤلفون إلى قيد آخر: تشغيل التفكير أدق لكنه يكلف نحو 350 يورو لكل مليون قرار.