Mistral-ը թողարկել է Timestral՝ իր առաջին ժամանակային շարքերի հիմնական մոդելների ընտանիքը

Timestral-ը նոր չափորոշ է սահմանում կանխատեսման համար

Mistral-ը թողարկել է Timestral-ը՝ ժամանակային շարքերի հիմնական մոդելների իր առաջին ընտանիքը, որն ապահովում է հավանականային, բազմափոփոխական կանխատեսումներ: Ամենամեծ մոդելը ունի 209M պարամետր և առաջինն է բոլոր երեք հիմնական հանրային չափորոշներում՝ GIFT-Eval, TIME և fev-bench, գերազանցելով նախորդ լավագույն արդյունքները՝ օգտագործելով մոդելի պարամետրերի մոտ երկու երրորդ մասը: Արդյունքները ստացվում են մեկ ստուգակետից՝ առանց անսամբլի, իսկ մոդելը աջակցում է անցյալի միայն և հայտնի ապագայի կովարիատները:

Ընտանիք, որը կառուցված է յուրաքանչյուր բնութագրի համար

Timestral-ը հասանելի է չորս չափով՝ 5M, 28M, 123M և 209M պարամետր, որոնք բոլորը կիսում են նույն ճարտարապետությունը և վերապատրաստման եղանակը: Յուրաքանչյուր չափ գտնվում է կանխատեսման ճշգրտության մոդելի չափի համեմատության Պարետոյի առաջասյունում: 28M մոդելը գերազանցում է Chronos-2-ին, որը մոտ քառապատիկ մեծ է, GIFT-Eval և TIME-ում, իսկ 209M մոդելը գերազանցում է TimesFM-3 և Falcon-2.0-ն՝ պակաս պարամետրերով:

Մոդելներից ոչ մեկը կիրառման ժամանակ չի պահանջում GPU: Սովորական սերվերային CPU-ում 8 թռեդով՝ երեք շաբաթվա 15 րոպեական պատմությունից մեկ օր առաջ կանխատեսելը տևում է 10 ms 5M մոդելով և 140 ms 209M մոդելով: 28M մոդելը 209M մոդելից հինգ անգամ արագ է, իսկ 123M մոդելը 209M-ի գնահատականի 0.2%-ի ներսում է՝ իր ուշացումը կազմելով 209M-ի ուշացման երեք չորրորդը:

Տեխնիկական ներդրումներ

Timestral-ը միավորում է անկախացված հորիզոնային կանխատեսումը, որը պահպանում է ամբողջ պատմությունը հաջորդականության մեջ՝ սովորված կանխատեսման տոկենները կարդալով այն, և կովարիատների նկատմամբ զգայուն ուշադրությունը, որը յուրաքանչյուր մուտքային շարքի տալիս է դեր՝ թիրախ փոփոխական, անցյալի միայն կովարիատ կամ հայտնի ապագայի կովարիատ: Տեղեկատվությունը հոսում է միայն կովարիատներից դեպի թիրախներ, ուստի թիրախի սեփական ապագան երբեք չի արտահոսում դրա կանխատեսման մեջ:

Վերապատրաստումը հետևում է սինթետիկին առաջնահերթություն տվող մոտեցմանը: Մոդելը նախապես վերապատրաստվում է մասշտաբայնորեն սինթետիկ միափոփոխական և բազմափոփոխական շարքերի վրա՝ 8192 համատեքստի չափով, այնուհետև հետվերապատրաստվում է իրական և սինթետիկ տվյալների խառնուրդի վրա՝ 4x ավելի երկար համատեքստով, օպտիմալացնելով pinball կորուստը 21 կվանտիլի համար՝ որպես CRPS-ի դիսկրետ մոտարկում:

Հասանելիություն և հարմարեցում

GitHub պահոցը հասանելի է՝ Timestral-ը գործարկելու սեփական տվյալների վրա, իսկ լրիվ արդյունքներով տեխնիկական հաշվետվությունը կհետեւի: Արտադրության հարմարեցման համար Timestral-ը առաջարկվում է Mistral Forge-ի միջոցով՝ նույն վերապատրաստման խողովակի միջոցով, որն օգտագործվում է Mistral-ի լեզվական մոդելների համար, աջակցելով zero-shot եզրակետումը անմիջապես օգտագործման համար, ճարտարապետական ընդլայնումներ ոլորտային հատուկ կովարիատների համար, մանրուցում սեփական տվյալների վրա և ամբողջական վերահսկում վերապատրաստման խառնուրդի նկատմամբ՝ ներառյալ սինթետիկ տվյալների գեներացիան: Գործարկումը հնարավոր է on-prem, VPC-ում կամ ցանցից առանձնացված միջավայրերում՝ փոփոխված MIT լիցենզիայով:

Աղբյուրներ: mistral.ai