Mistral представила Timestral, першу сімейку фундаментальних моделей часових рядів

Timestral встановлює новий орієнтир прогнозування

Mistral випустила Timestral, свою першу сімейку фундаментальних моделей часових рядів, які дають ймовірнісні багатовимірні прогнози. Найбільша модель має 209M параметрів і посідає перше місце на всіх трьох основних публічних бенчмарках, GIFT-Eval, TIME і fev-bench, перевершуючи попередній рівень якості приблизно з двома третинами параметрів моделі. Результати отримано з однієї контрольної точки без ансамблю, а модель підтримує коваріати, доступні лише за минулим, і відомі майбутні коваріати.

Сімейка для будь-яких вимог

Timestral доступна в чотирьох розмірах, 5M, 28M, 123M і 209M параметрів, усі використовують одну архітектуру й одну процедуру навчання. Кожен розмір знаходиться на фронті Парето щодо точності прогнозування проти розміру моделі. Модель 28M перевершує Chronos-2, яка приблизно в чотири рази більша, на GIFT-Eval і TIME, а модель 209M перевершує TimesFM-3 і Falcon-2.0 при меншій кількості параметрів.

Жодна з моделей не потребує GPU під час інференсу. На стандартному серверному CPU з 8 потоками прогноз на один день уперед на основі трьох тижнів історії з інтервалом 15 хвилин займає 10 ms для моделі 5M і 140 ms для моделі 209M. Модель 28M у п'ять разів швидша за модель 209M, а модель 123M має результат із відхиленням до 0.2% від результату 209M за три чверті її затримки.

Технічний внесок

Timestral поєднує розділене прогнозування горизонту, яке зберігає повну історію в послідовності, тоді як навчені токени прогнозу її зчитують, і увагу з урахуванням коваріатів, яка призначує кожному вхідному ряду роль цільової змінної, коваріата, доступного лише за минулим, або відомого майбутнього коваріата. Інформація передається лише від коваріатів до цільових рядів, тому власне майбутнє цільового ряду ніколи не потрапляє в його прогноз.

Навчання виконується за підходом із пріоритетом синтетичних даних. Спочатку модель масштабно попередньо навчають на синтетичних одномірних і багатовимірних рядах із розміром контексту 8192, потім донавчають на суміші реальних і синтетичних даних із контекстом у 4x довшим, оптимізуючи pinball loss для 21 квантиля як дискретне наближення CRPS.

Доступність і адаптація

Репозиторій GitHub доступний для запуску Timestral на власних даних, а технічний звіт із повними результатами з'явиться згодом. Для промислової адаптації Timestral пропонується через Mistral Forge, той самий конвеєр навчання, що й для мовних моделей Mistral, з підтримкою інференсу zero-shot без додаткового налаштування, архітектурних розширень для предметних коваріатів, донавчання на власних даних і повним контролем над навчальним набором, зокрема генерацією синтетичних даних. Розгортання можливе on-prem, у VPC або в середовищах air-gapped за модифікованою ліцензією MIT.

Джерела: mistral.ai