Բլոգ

NVIDIA-ն և Dao AI Lab-ը ստեղծել են ReplaySSM հիբրիդ մոդելների դեկոդավորման արագացման համար

NVIDIA-ն և Princeton-ի Dao AI Lab-ը ստեղծել են ReplaySSM, որը SSM-ի վիճակը պահում է որպես վերահսկողական կետ և վերջին մուտքագրումների բուֆեր, ինչը կիսով է կրճատում հիշողության տրաֆիկը և արագացնում հիբրիդ դեկոդավորումը Blackwell GPU-ների վրա: