Ollaya: بيئة تشغيل محلية لنماذج قرار بأسلوب Jev

Ollaya بيئة تشغيل محلية التثبيت لما يسميه مطوّروها نماذج القرار (decision models)، وهي مطروحة كبديل محلي لنماذج TypeSafe Jev المستضافة. وبمرور أمامي واحد تعيد جوابًا مُصنّفًا عن كل سؤال في الطلب: اختيار من قائمة معايير، أو قيمة منطقية، أو رقمًا على مقياس، أو نصًا قصيرًا. تُوزّع البيئة برخصة Apache-2.0، والشيفرة على GitHub.

المثال الأول في الموقع يشغّل ollaya run laya --preset triage على الرسالة "I was charged twice this month and want a refund" ويحصل على احتمالات بدل نص: intent refund بـ1.00، وis_urgent no بـ0.87، وrefund_requested yes بـ0.88. ولأن كل خيار يأتي مع احتمال، يمكن للطرف المستدعي وضع عتبة على القرار بدل تحليل نص مولَّد.

زمن الاستجابة والمعايرة

على NVIDIA RTX 4090 تقيس Ollaya نحو 8-10 مللي ثانية من الطرف إلى الطرف لطلب من خمسة أسئلة عبر واجهة HTTP. وللمقارنة تذكر الصفحة 236-276 مللي ثانية كوسيط زمن الاستجابة لواجهة TypeSafe Jev المستضافة، نقلًا عن قياسات طرف ثالث تشمل زمن الشبكة؛ وتنبّه Ollaya إلى أن الإعدادات مختلفة وأن المقارنة في حدود رتبة الحجم.

الادعاء الثاني هو المعايرة: بعد temperature fitting يبلغ خطأ المعايرة المتوقع لدى Laya قيمة 0.081 مقابل 0.246 لدى Jev. وانخفاض الرقم يعني أن احتمالًا قدره 0.9 أقرب إلى نسبة إصابة حقيقية تبلغ 90%.

توافق مع واجهة TypeSafe

تقدّم Ollaya النقطتين /v1/systemone و/v1/models بأشكال الطلب والاستجابة نفسها لدى TypeSafe، وبحسب الموقع تعمل حزمة Python SDK الرسمية من TypeSafe بإصدار 0.7.1 مع خادم محلي دون تغيير. وفي مثال الفاتورة تعيد الاستجابة intent invoice بثقة 0.9547 واحتمالات 0.9698 و0.0172 و0.013.

أوزان مفتوحة ومنصّات

تُسحب الأوزان من مستودعات المؤلفين على Hugging Face، مثبّتة على commit محدد ومتحقَّق منها بـsha256؛ ولا تستضيفها Ollaya بنفسها. وللبداية تتوفر عائلة Laya من Convai Innovations: نموذج إنجليزي، ونموذج لأكثر من 100 لغة، ونسخة مضبوطة دقيقًا للقرارات المصنّفة. يعمل الخادم على ONNX Runtime، ويستمع افتراضيًا إلى الواجهة المحلية فقط، ويستخدم المعالج أو وحدة رسوميات NVIDIA.

توجد إصدارات لـmacOS وWindows 10 و11 وLinux وWSL 2 وDocker لمعماريّتي amd64 وarm64. تعمل كل النماذج على المعالج؛ ووحدة رسوميات NVIDIA على Linux أو داخل WSL 2 أو Docker، مع تعريف R580 أو أحدث وCUDA 13، تخفض الطلب إلى أجزاء من الثانية.

لماذا يهم ذلك

نماذج القرار فئة من النماذج الصغيرة لمهام التصنيف والتنقيط المصنّفة التي تعالجها واجهات المحادثة ببطء وبكلفة لكل رمز: فرز التذاكر، والقصد، والانطباع، والتوجيه، وعلامات الإشراف. وتشغيلها محليًا يبقي الرسائل الحساسة على الجهاز الذي يحتفظ بها أصلًا، ويلغي العدّاد، ويعيد احتمالًا بدل جملة.