Mistral משחררת את Timestral, משפחת מודלי היסוד הראשונה שלה לסדרות זמן

Timestral קובע סטנדרט חדש לחיזוי

Mistral שחררה את Timestral, משפחת מודלי היסוד הראשונה שלה לסדרות זמן, המספקת חיזויים הסתברותיים רב־משתניים. המודל הגדול ביותר כולל 209M פרמטרים ומדורג ראשון בכל שלושת הבחנים הציבוריים המרכזיים, GIFT-Eval, TIME ו־fev-bench, ועולה על מצב האמנות הקודם עם כשני שלישים בלבד מפרמטרי המודל. התוצאות מגיעות מ־checkpoint בודד, ללא ensembling, והמודל תומך בקובריאטים מהעבר בלבד ובקובריאטים ידועים מהעתיד.

משפחה שנבנתה לכל מפרט

Timestral זמין בארבעה גדלים, 5M, 28M, 123M ו־209M פרמטרים, שכולם חולקים את אותה הארכיטקטורה ומתכון האימון. כל גודל נמצא על חזית Pareto של דיוק החיזוי מול גודל המודל. מודל 28M עולה על Chronos-2, שהוא גדול פי ארבעה בערך, ב־GIFT-Eval ו־TIME, בעוד מודל 209M עולה על TimesFM-3 ו־Falcon-2.0 עם פרמטרים פחותים.

אף אחד מהמודלים לא דורש GPU בזמן ההסקה. על מעבד שרת סטנדרטי עם 8 תהליכונים, חיזוי של יום אחד קדימה מהיסטוריה של שלושה שבועות ברזולוציה של 15 דקות לוקח 10 ms עם מודל 5M ו־140 ms עם מודל 209M. מודל 28M מהיר פי חמשה ממודל 209M, ומודל 123M מגיע למרחק של 0.2% מציון 209M כשההשהיה שלו מהווה שלושה רבעים מזו של 209M.

תרומות טכניות

Timestral משלב חיזוי טווח מופרק, ששומר את כל ההיסטוריה ברצף בעוד טוקני חיזוי נלמדים קוראים אותה, ותשומת לב מודעת קובריאטים שמקצה לכל סדרת קלט תפקיד, כגון משתנה יעד, קובריאט מהעבר בלבד או קובריאט ידוע מהעתיד. מידע זורם רק מקובריאטים ליעדים, כך שהעתיד של היעד עצמו לא נדלף לחיזוי שלו.

האימון מתבצע לפי גישת סינטטי־תחילה. המודל עובר אימון מוקדם בהיקף על סדרות חד־משתניות ורב־משתניות סינטטיות עם אורך הקשר של 8192, ולאחר מכן אימון מאוחר על תערובת של נתונים אמיתיים וסינטטיים עם הקשר ארוך פי 4, תוך אופטימיזציה של פינבול לוס (pinball loss) על פני 21 קוונטילים כקירוב בדיד של CRPS.

זמינות והתאמה

מאגר GitHub זמין כדי להריץ את Timestral על נתונים קנייניים, ודוח טכני עם התוצאות המלאות יפורסם בהמשך. להתאמה לייצור, Timestral מוצע דרך Mistral Forge, אותו צינור אימון שמשמש את מודלי השפה של Mistral, התומך בהסקה zero-shot מהקופסה, הרחבות ארכיטקטוניות עבור קובריאטים ספציפיים לתחום, כוונון עדין על נתונים קנייניים, ושליטה מלאה על תערובת האימון כולל יצירת נתונים סינטטיים. ההצבה אפשרית מקומית (on-prem), ב־VPC או בסביבות מבודדות מרשת, במסגרת רישיון MIT מותאם.

מקורות: mistral.ai