Mistral-მა გამოუშვა Timestral, დროის სერიების საბაზისო მოდელების პირველი ოჯახი

Timestral ახალ სტანდარტს ადგენს პროგნოზირებაში

Mistral-მა გამოუშვა Timestral, დროის სერიების საბაზისო მოდელების პირველი ოჯახი, რომელიც ალბათურ და მრავალვარიანტულ პროგნოზებს იძლევა. უდიდეს მოდელს 209M პარამეტრი აქვს და სამივე მთავარ საჯარო ბენჩმარკზე, GIFT-Eval-ზე, TIME-ზე და fev-bench-ზე, პირველ ადგილზეა; წინა საუკეთესო შედეგს აღემატება მოდელის პარამეტრების მხოლოდ დაახლოებით ორი მესამედის გამოყენებით. შედეგები ერთი checkpoint-იდან არის მიღებული, ანსამბლირების გარეშე, და მოდელი მხარს უჭერს მხოლოდ წარსულზე დაფუძნებულ და წინასწარ ცნობილ მომავალ კოვარიატებს.

ოჯახი ყველა სპეციფიკაციისთვის

Timestral ოთხი ზომით არის ხელმისაწვდომი: 5M, 28M, 123M და 209M პარამეტრი. ყველა მათგანი ერთსა და იმავე არქიტექტურასა და წვრთნის რეცეპტს იზიარებს. თითოეული ზომა პროგნოზირების სიზუსტისა და მოდელის ზომის პარეტოს ფრონტზეა. 28M მოდელი აღემატება Chronos-2-ს, რომელიც დაახლოებით ოთხჯერ დიდია, GIFT-Eval-ზე და TIME-ზე, ხოლო 209M მოდელი აღემატება TimesFM-3-სა და Falcon-2.0-ს ნაკლები პარამეტრით.

ინფერენსის დროს არცერთ მოდელს GPU არ სჭირდება. სტანდარტულ სერვერის CPU-ზე 8 ნაკადით, სამი კვირის 15-წუთიანი ისტორიიდან ერთი დღით წინ პროგნოზირებას 5M მოდელი 10 ms-ში ასრულებს, 209M მოდელი კი 140 ms-ში. 28M მოდელი 209M მოდელზე ხუთჯერ სწრაფია, ხოლო 123M მოდელი 209M-ის შედეგს 0,2%-ის ფარგლებში უახლოვდება, თუმცა მისი დაყოვნების მხოლოდ სამ მეოთხედს საჭიროებს.

ტექნიკური მიღწევები

Timestral აერთიანებს დაშლილი ჰორიზონტის პროგნოზირებას, რომელიც სრულ ისტორიას მიმდევრობაში ინახავს, ხოლო ნასწავლი forecast token-ები მას კითხულობენ, და კოვარიატების გათვალისწინებულ attention-ს, რომელიც თითოეულ შემავალ სერიას როლს ანიჭებს, მაგალითად სამიზნე ვარიატს, მხოლოდ წარსულის კოვარიატს ან ცნობილი მომავლის კოვარიატს. ინფორმაცია მხოლოდ კოვარიატებიდან სამიზნეებისკენ მიედინება, ამიტომ სამიზნის საკუთარი მომავალი არასოდეს ჟონავს მის პროგნოზში.

წვრთნა ჯერ სინთეტიკურ მონაცემებზეა ორიენტირებული. მოდელი მასშტაბურად წინასწარ წვრთნილა სინთეტიკურ უნივარიანტულ და მრავალვარიანტულ სერიებზე 8192 კონტექსტის ზომით, შემდეგ კი დამატებით წვრთნილა რეალური და სინთეტიკური მონაცემების ნარევზე 4x უფრო გრძელი კონტექსტით, სადაც ოპტიმიზდება pinball loss 21 კვანტილზე, როგორც CRPS-ის დისკრეტული მიახლოება.

ხელმისაწვდომობა და ადაპტაცია

GitHub-ის რეპოზიტორია ხელმისაწვდომია Timestral-ის კერძო მონაცემებზე გასაშვებად, ხოლო სრული შედეგების ტექნიკური ანგარიში მოგვიანებით გამოქვეყნდება. წარმოებაში ადაპტაციისთვის Timestral შემოთავაზებულია Mistral Forge-ის მეშვეობით, იმავე წვრთნის პაიპლაინით, რომელსაც Mistral-ის ენობრივი მოდელებისთვის იყენებენ; ის მხარს უჭერს zero-shot ინფერენსს დამატებითი კონფიგურაციის გარეშე, არქიტექტურულ გაფართოებებს დომენისთვის სპეციფიკური კოვარიატებისთვის, fine-tuning-ს კერძო მონაცემებზე და წვრთნის ნარევზე სრულ კონტროლს, მათ შორის სინთეტიკური მონაცემების გენერაციას. განლაგება შესაძლებელია on-prem, VPC-ში ან air-gapped გარემოში, შეცვლილი MIT-ის ლიცენზიით.

წყაროები: mistral.ai