Mistral ilk zaman sıralısı negiz modelləri ailəsi Timestral'ı təqdim edir

Timestral proqnozlaşdırmanın yeni standartını təyin edir

Mistral, probabilist çoxdəyişənli proqnozlar təqdim edən ilk zaman sıralısı negiz modelləri ailəsi olan Timestral'ı buraxıb. Ən böyük model 209M parametrə malikdir və GIFT-Eval, TIME və fev-bench üzrə üç əsas ictimai sınağın hamısında birinci yerdədir. Model yalnız təxminən üçdə ikisi qədər parametr ilə əvvəlki ən yüksək nəticəni keçir. Nəticələr ansambldən istifadə etmədən tək bir yoxlama nöqtəsindən əmələ gəlir və model keçmişə xüsus və gələcəyi məlum kovariatları dəstəkləyir.

Timestral hər spesifikasiya üçün hazırlanmış bir ailədir

Timestral 5M, 28M, 123M və 209M parametr ölçüsündə dörd variantda mövcuddur; hamısı eyni arxitektura və təlim rezeptini bölüşür. Hər ölçü proqnozlaşdırma dəqiqliyi ilə model ölçüsünün Pareto sərhədində yerləşir. 28M model GIFT-Eval və TIME üzrə təxminən dört dəfə daha böyük olan Chronos-2-ni keçir, 209M model isə daha az parametr ilə TimesFM-3 və Falcon-2.0-ni üstələyir.

Heç bir model inferens üçün GPU tələb etmir. 8 axınlı standart server CPU-sunda üç həftəlik 15 dəqiqəlik tarixçədən bir gün öncə proqnozlaşdırmaq 5M model üçün 10 ms, 209M model üçün 140 ms çəkir. 28M model 209M modeldən beş dəfə sürətlidir, 123M model isə 209M modelinin gecikməsinin dörtte üçünə bərabər vaxtda onun nəticəsinə yalnız 0.2% fərq ilə çatır.

Texniki töhfələr

Timestral, tam tarixçəni saxlayan ardıcıllıqda öyrənilmiş proqnoz tokenlərinin onu oxuduğu ayrılmış uzaq proqnozlaşdırmayı və hər daxil edilən sıraya hədəf dəyişəni, yalnız keçmiş kovariatı və ya gələcəyi məlum kovariatı kimi rollar təyin edən kovariatə həssas diqqəti birləşdirir. Məlumat yalnız kovariatlardan hədəf dəyişənlərinə axır, buna görə də hədəfin öz gələcəyi heç vaxt onun proqnozuna sızmaz.

Təlim sentetik ön yanaşma ilə gedir. Model 8192 kontekst ölçüsünə malik sentetik tək dəyişənli və çoxdəyişənli sıralar üzrə geniş miqyasda əvvəlcədən təlim keçir, sonra isə 4 dəfə daha uzun kontekstdə real və sentetik məlumatlar qarışığı üzrə son təlim keçir. Təlim zamanı 21 kvantil üzrə pinball itkisi CRPS-nin diskret təxmini kimi optimallaşdırılır.

Mövcudluq və uyğunlaşdırma

Timestral'ı məxsus məlumatlarda işə salmaq üçün GitHub repositori mövcuddur; nəticələrin tam versiyasını texniki hesabat izləyəcək. İstehsala uyğunlaşdırma üçün Timestral, Mistral dil modelləri üçün istifadə olunan eyni təlim pipeline-ı olan Mistral Forge vasitəsilə təklif olunur; bu, qutu üzərində sıfır nümunəli inferensə, domenə xüsusi kovariatlar üçün arxitektura genişlənmələrinə, məxsus məlumatlarda incə təlimə və sentetik məlumat yaradılmaqla yanaşı təlim qarışığının tam nəzarətini dəstəkləyir. Yerləşdirmə on-prem, VPC və ya hava boşluğu olan mühitlərdə, dəyişdirilmiş MIT lisenziyası altında mümkündür.

Mənbələr: mistral.ai