Mistral, Zaman Serisi Temel Modellerinin İlk Ailesi Olan Timestral'ı Tanıttı

Timestral, Tahminde Yeni Bir Kıyas Belirliyor

Mistral, olasılıklı ve çok değişkenli tahminler sunan zaman serisi temel modellerinin ilk ailesi olan Timestral'ı yayımladı. En büyük modelin 209M parametresi vardır; GIFT-Eval, TIME ve fev-bench dahil üç ana kamu kıyasında birinci sırada yer alır ve önceki en iyi seviyenin yaklaşık üçte ikisi kadar parametresiyle onun üzerine çıkar. Sonuçlar tek bir kontrol noktasından, birleştirme yapılmadan elde edilir ve model yalnızca geçmiş ile bilinen gelecek kovaryatlarını destekler.

Her Özellik İçin Kurulmuş Bir Aile

Timestral; 5M, 28M, 123M ve 209M parametreli olmak üzere dört boyutta sunulur ve hepsi aynı mimariyi ve eğitim tarifini paylaşır. Her boyut, tahmin doğruluğu ile model boyutunun Pareto cephesinde yer alır. 28M model, GIFT-Eval ve TIME'da yaklaşık dört kat daha büyük olan Chronos-2'yi geçerken, 209M model daha az parametreyle TimesFM-3 ve Falcon-2.0'ı geçer.

Modellerin hiçbiri çıkarım sırasında GPU gerektirmez. 8 iş parçacığına sahip standart bir sunucu CPU'sunda, üç haftalık 15 dakikalık geçmişten bir gün ileriyi tahmin etmek 5M modelde 10 ms, 209M modelde 140 ms sürer. 28M model 209M modelden beş kat daha hızlıdır ve 123M model ise gecikmesinin dörtte üçünde 209M skoruna 0.2% farkla yaklaşır.

Teknik Katkılar

Timestral; tam geçmişi dizide tutan ve öğrenilmiş tahmin belirteçleri onu okuyan ayrık ufuk tahmini ile her giriş serisine hedef değişken, yalnızca geçmiş kovaryat veya bilinen gelecek kovaryat gibi bir rol atayan kovaryat duyarlı dikkati birleştirir. Bilgi yalnızca kovaryatlardan hedeflere akar; böylece bir hedefin kendi geleceği asla tahminine sızar.

Eğitim, önce sentetik yaklaşımını izler. Model, 8192 bağlam boyutuna sahip sentetik tek değişkenli ve çok değişkenli seriler üzerinde ölçekte ön eğitilir; ardından bağlamı 4x daha uzun olan gerçek ve sentetik veri karışımı üzerinde son eğitilir ve CRPS'in ayrık bir yaklaşımı olarak 21 kuantil üzerinde pinball kaybını en iyi duruma getirir.

Erişilebilirlik ve Uyarlama

Özel veriler üzerinde Timestral'ı çalıştırmak için bir GitHub deposu kullanılabilir ve tüm sonuçları içeren teknik bir rapor takip edecektir. Üretim ortamına uyarlama için Timestral, Mistral'in dil modelleri için kullanılan aynı eğitim hattı olan Mistral Forge aracılığıyla sunulur; kutudan çıkar çıkmaz sıfır atış çıkarımını, alana özel kovaryatlar için mimari uzantıları, özel verilerle ince ayarı ve sentetik veri üretimini içeren eğitim karışımı üzerinde tam kontrolü destekler. Dağıtım on-prem ortamda, bir VPC içinde veya hava boşluğu olan ortamlarda, değiştirilmiş bir MIT lisansı altında mümkündür.

Kaynaklar: mistral.ai