NVIDIA-ն և Dao AI Lab-ը ստեղծել են ReplaySSM հիբրիդ մոդելների դեկոդավորման արագացման համար

Ինչպես է աշխատում ReplaySSM-ը

Հիբրիդ մոդելները վիճակայի տարածքի մոդելի (SSM) շերտերը ինտեգրում են մի քանի attention շերտերի հետ փոխադրմամբ, և NVIDIA Nemotron 3, Qwen3.5, Kimi-K3 ու GLM-5.3-Flash հենց այս դիզայնին են հետևում: SSM-ի շերտերը KV cache-ի փոխարեն օգտագործում են ֆիքսված չափի վիճակ, սակայն ծառայության batch չափերի վրա հենց SSM-ի շերտերը, ոչ թե attention-ը կարող է դառնալ դդեմքի հիմնական պատճառը 100K տոկենային կոնտեքստի համար: Սովորական դեկոդավորումը քայլ առ քայլ կարդում է և պահում մեծ վիճակը:

ReplaySSM-ը վիճակը ներկայացնում է որպես վերահսկողական կետ և վերջին մուտքագրումների գրառումների բուֆեր: Շատ քայլի վրա, այսինքն non-flush քայլի վրա, այն ընթացիկ մուտքագրումները ավելացնում է բուֆերին և արդյունքը հաշվարկում է վերահսկողական կետից և բուֆերից առանց վիճակի պահպանման: Երբ 16 գրառումների բուֆերը լցվում է, flush քայլը բուֆերում առկա մուտքագրումները միավորում է վերահսկողական կետում, նոր վերահսկողական կետ է մեկ անգամ գրում և բուֆերը մաքրում: Արդյունքները սովորական դեկոդավորմանը համընկնում են սահող կետի տարբերությունների բացառությամբ:

Վիճակի տրաֆիկի կրճատում և rollback-ի պարզեցում

16 տոկենային պատուհանի վրա սովորական դեկոդավորումը վիճակը 16 անգամ կարդում է և 16 անգամ գրում: ReplaySSM-ը վերահսկողական կետը պատուհանի վրա միայն մեկ անգամ է գրում, ինչը գերիշխող վիճակի տրաֆիկը մոտավորապես կիսով է կրճատում: NVIDIA Blackwell Ultra B300 GPU-ների վրա batch չափով 256 դեկոդավորման միջոքը 1,46-ից 1,80 անգամ ավելի արագ է աշխատում, իսկ դեկոդավորման քայլը չորս գնահատված մոդելի վրա՝ 1,20-ից 1,47 անգամ ավելի արագ: Batch չափով 1-ի վրա այլ դդեմքի աղբյուրների գերակշիռությունը տիրում է, և ReplaySSM-ը այդ թեստերում արագության ավելացում չի տալիս:

Սպեկուլտիվ դեկոդավորման համար ReplaySSM-ը նախնական տոկենների մուտքագրումները ավելացնում է բուֆերին մինչև ստուգումը և ստացված նախածանցը բուֆերի ցուցչի առաջ հաստատում է հավելմամբ՝ առանց վիճակի snapshot-ների պահպանման ու վերականգնման: Սա հնարավոր է դարձնում միայն արդյունքի վրա հիմնված գնահատում, որը երկու փոքր մատրիցայի արտադրանք է ստեղծում առանց միջանկյալ վիճակի կառուցման: GSM8K-ի հայցումների վրա 12B դասի մոդելներով ReplaySSM-ը batch չափով 512-ի վրա vLLM-ի սպեկուլտիվ հաղորդումունակության 1,85-ը և 2,10-ը գերազանցում է, ընդունման հավասար երկարություններով:

Քվանտիզացման սխալի սահմանափակում

Քվանտիզացված SSM-ի վիճակը վերադառնում է ռեկուրենտությանը, ուստի կլորացման սխալը միասին է կուտակվում երկարության հետ, տարբերվելով KV cache-ի գրառումից: ReplaySSM-ը ռեկուրենտության համար պահում է բարձր ճշգրտության վերահսկողական կետ և կարդալու համար՝ ցածր ճշգրտության պատճեն, ուստի կարդալու սխալը երբեք չի տարածվում ռեկուրենտ կալիցում: Qwen3.5-4B-ի վրա 128K տոկենի վրա NVFP4 կարդալը FP32 ռեկուրենտությամբ արտադրանքի KL դիվերգենցիան 0,136-ից իջեցնում է մինչև 0,0038: GPQA-Diamond-ի վրա չորս մոդելներից երեքը FP32 ճշգրտության մոտավորապես 2 տոկսի կետի սահմաններում է մնում NVFP4 կարդալներով և FP16 կամ FP8 ռեկուրենտությամբ, մինչդեռ ընդհանուր NVFP4 վերահսկողական կետը կորցնում է 3-ից 31 կետ հաշվին:

Հասանելիություն

ReplaySSM-ը NVIDIA-ի և Princeton համալսարանի Dao AI Lab-ի համատեղ աշխատանքն է, որը մանրամասն նկարագրված է աշխատանքում ReplaySSM: Cache SSM Inputs, Not State, իսկ կոդը կանգնած է GitHub-ում: Այն ինտեգրված է TensorRT-LLM-ում, vLLM-ում, SGLang-ում և FlashInfer-ում և արտադրությունում աշխատում է GLM-5.3-Flash-ում և Kimi-K3-ում, Kimi-K3-ը հենց նախնական տոկենների SSM-ի մուտքագրումները ստուգման համար պահում է KDA շերտերում և ReplaySSM-ը նշում է որպես մրցակցային մոտեցում:

Աղբյուրներ: Nvidia Dev