Mistral تطلق Timestral، أول عائلة لنماذج الأساس للسلاسل الزمنية

Timestral يُحدد معياراً جديداً للتنبؤ

أطلقت Mistral Timestral، أول عائلة من النماذج الأساسية للسلاسل الزمنية، لتوفير تنبؤات احتمالية متعددة المتغيرات. يحتوي النموذج الأكبر على 209M معامل ويحتل المرتبة الأولى في جميع المعايير العامة الرئيسية الثلاثة، GIFT-Eval و TIME و fev-bench، متفوقاً على أحدث ما سبق من تقنيات باستخدام حوالي ثلثي معاملات النموذج فقط. تأتي النتائج من نقطة فحص واحدة، دون تجميع، ويدعم النموذج المتغيرات المفسرة الخاصة بالماضي فقط وتلك الخاصة بالمستقبل المعروفة.

عائلة مصممة لكل مواصفة

يتوفر Timestral بأربعة أحجام، 5M و 28M و 123M و 209M معامل، تشترك جميعها في نفس البنية ووصفة التدريب. يقع كل حجم على حدود باريتو لدقة التنبؤ مقابل حجم النموذج. يتفوق نموذج 28M على Chronos-2، الذي يبلغ حجمه أربعة أضعاف تقريباً، في GIFT-Eval و TIME، بينما يتفوق نموذج 209M على TimesFM-3 و Falcon-2.0 بمعاملات أقل.

لا يحتاج أي من النماذج إلى GPU أثناء الاستدلال. على وحدة معالجة مركزية لخادم قياسي مع 8 خيوط، يستغرق التنبؤ ليوم واحد مقدماً من ثلاثة أسابيع من التاريخ بفواصل 15 دقيقة 10 ms مع نموذج 5M و 140 ms مع نموذج 209M. نموذج 28M أسرع بخمس مرات من نموذج 209M، ونموذج 123M يقترب من نسبة 0.2% من نتيجة نموذج 209M عند ثلاثة أرباع زمن استجابته.

المساهمات التقنية

يجمع Timestral بين التنبؤ بالآفاق المنفصلة، الذي يحتفظ بالتاريخ الكامل في التسلسل بينما تقرأ رموز التنبؤ المُتعلَّمة ذلك، والانتباه الواعي بالمتغيرات المفسرة الذي يُسند لكل سلسلة إدخال دوراً مثل متغير الهدف أو متغير مفسر للماضي فقط أو متغير مفسر للمستقبل المعروفة. تتدفق المعلومات فقط من المتغيرات المفسرة إلى الأهداف، لذا فإن مستقبل الهدف ذاته لا يتسرب أبداً إلى تنبؤه.

يتبع التدريب نهجاً اصطناعياً أولاً. يتم تدريب النموذج مسبقاً على نطاق واسع على سلاسل أحادية المتغير ومتعددة المتغيرات اصطناعية بحجم سياق 8192، ثم يتم تدريبه لاحقاً على مزيج من البيانات الحقيقية والاصطناعية بسياق أطول بأربعة أضعاف، مع تحسين خسارة pinball على 21 كميةً كتقريب منفصل لـ CRPS.

التوفر والتكيف

يتوفر مستودع GitHub لتشغيل Timestral على البيانات الخاصة، وسيُتبَع بتقرير تقني يتضمن النتائج الكاملة. للتكيف مع الإنتاج، يُقدَّم Timestral عبر Mistral Forge، نفس خط أنابيب التدريب المستخدم لنماذج Mistral اللغوية، ويدعم الاستدلال zero-shot جاهزاً للاستخدام، والامتدادات المعمارية للمتغيرات المفسرة الخاصة بالمجال، والضبط الدقيق على البيانات الخاصة، والتحكم الكامل في مزيج التدريب بما في ذلك توليد البيانات الاصطناعية. النشر ممكن في بيئات on-prem أو في VPC أو في بيئات معزولة تماماً، بموجب ترخيص MIT المعدل.

المصادر: mistral.ai