Վերադառնալ

Tufa Labs-ի tufazip-ը Վիքիպեդիայի 1 ԳԲ-ը կորուստներից զերծ սեղմում է 105.39 ՄԲ-ի
SiTech AI Team3 րոպե ընթերցում

Tufa Labs-ի tufazip-ը Վիքիպեդիայի 1 ԳԲ-ը կորուստներից զերծ սեղմում է 105.39 ՄԲ-ի

Tufa Labs-ը ասում է, որ tufazip-ը Վիքիպեդիայի 1 ԳԲ-ը կորուստներից զերծ սեղմել է 105.39 ՄԲ-ի՝ օգտագործելով ինքնուս Transformer կանխատեսիչ և առանց ձեռքով ստեղծված մոդելների, սակայն դրա համար պետք է երկու Nvidia B200 GPU և մոտ մեկ շաբաթ։

Tufa Labs-ը ասում է, որ tufazip-ը Վիքիպեդիայի 1 ԳԲ-ը կորուստներից զերծ սեղմել է 105.39 ՄԲ-ի։ Մեթոդը օգտագործում է 163 միլիոն պարամետրով Transformer-ը որպես միակ կանխատեսիչ և ոչ մի ձեռքով ստեղծված սեղմման մոդել։ Սա ամենափոքր արդյունքն է Large Text Compression Benchmark-ում՝ նեյրոնային ցանցը որպես միակ կանխատեսիչ օգտագործող մուտքերի շարքում։

Ինչպես է աշխատում tufazip-ը

Լրիվ փաթեթը օպտիմալացումից հետո 105.39 ՄԲ է և ներառում է 4.33 ՄԲ նախապես ուսուցանված սկզբնական մոդել՝ պահված ցածր ճշտությամբ, այսինքն՝ քվանտացված, տարածք խնայելու համար; այն անհրաժեշտ է ֆայլը բացելու համար։ Լրիվ մոդելը 12 շերտ ունեցող Transformer է, իսկ սկզբնական մոդելը պահում է միայն երկու արդեն ուսուցանված փուլ և ետ ու առաջ պատճենում է դրանք՝ 12 շերտը լրացնելու համար, երբ լրիվ մոդելը գործարկվում է հիշողության մեջ; յուրաքանչյուր պատճեն ինքնուրույն սովորում է։ Սա ինքնաբավ լեզվական մոդել է, որը սովորում է ընթացքում, ոչ թե ավանդական զրուցաբոտ կամ ամպային ԱԻ, և սեղմումը կորուստներից զերծ է, ուստի կանխատեսիչի թարմացումները պետք է լիովին դետերմինիստական լինեն։ Ուսուցումը երկու փուլով է՝ 34 միլիոն պարամետրով սկզբնական մոդելը սեղմումից առաջ օֆլայն ուսուցանվում է, ապա լրիվ մոդելը օնլայն սովորում է՝ յուրաքանչյուր թոքեն կանխատեսելով և դրա վրա ուսուցանվելով, իսկ բացման կողմը կրկնում է նույն քայլերը և տեքստի հետ միասին վերականգնում է մոդելը։ Ընդհանուր չափը ներառում է սեղմված տեքստը, բացման ծրագիրը և անհրաժեշտ ֆայլերը՝ ներառյալ սկզբնական մոդելը, բայց ոչ լրիվ ուսուցանված մոդելը։ Tufa Labs-ը ասում է, որ սա այն տարբերում է բենչմարքում իրենից վեր դասված բոլոր 12 մուտքերից, որոնք Transformer-ը խառնում են ձեռքով ստեղծված մոդելների հետ։

Արդյունավետությունը և ապարատային պահանջները

Հետազոտող Tommy He-ն ստեղծել է tufazip-ը, իսկ 2026 թվականի նոյեմբերի 19-ի հետազոտական գրառումը ներկայացրել է այն։ Նրա առաջին, միայն օնլայն տարբերակը երկրորդ տեղն է զբաղեցրել, երբ ներկայացվել է սեպտեմբերի սկզբին; 105.39 ՄԲ-ի տարբերակը 13-րդ տեղում էր՝ բենչմարքի նոյեմբերի 19-ի թարմացման դրությամբ։ Բենչմարքը միայն տեքստային է, և աշխատանքը հետազոտական նպատակների համար է, ոչ թե արտադրանք։ Սեղմումն ու բացումը կպահանջեն երկու Nvidia B200 GPU և երկու Intel Xeon Platinum 8570 CPU փորձարկման մեքենայում, և կտևեն 631,548 և 645,748 վայրկյան, այսինքն՝ մոտ 7.3 և 7.5 օր, առանց հաշվի առնելու սկզբնական մոդելի օֆլայն ուսուցումը։ Առաջին տարբերակը, որը 105.98 ՄԲ էր, տևել է 647,595 և 630,136 վայրկյան։ GPU VRAM-ը երկու տարբերակների ընթացքում առավելագույնը հասել է 43.37 GiB-ի, իսկ GPU-ները ներառյալ ընդհանուր հիշողության օգտագործումը առավելագույնը հասել է մոտ 68,525 MiB-ի՝ սեղմման ժամանակ, և 73,748 MiB-ի՝ բացման ժամանակ։ Համեմատության համար cmix-neif 2.0-ը AMD Epyc 7B13-ով և չորս միջուկով հասել է 89.35 ՄԲ-ի (49.2/49.3 ժամ), DNA-4-ը Nvidia RTX 4090-ով՝ 105.55 ՄԲ-ի (19.8 ժամ ուսուցմամբ, 2.6 ժամ բացում), իսկ NNCP v3.2-ը Nvidia RTX 3090-ով՝ 107.26 ՄԲ-ի (67.2/66.3 ժամ)։

Փորձեր և փոխզիջումներ

Փորձերը ցույց են տալիս, որ ավելի փոքր բառապաշարը օգնում է՝ 4K թոքենիզատորը գերազանցում է 8K-ին և 16K-ին։ Վիքիպեդիայի XML-ին առանձին թոքեններ տալը վատացրել է սեղմումը։ 267 միլիոն պարամետրով մոդելը մի փոքր վատ է աշխատել, քան 188 միլիոնովը, իսկ 100 ՄԲ ֆայլի դեպքում աճը կայունացել է մոտ 77 միլիոն պարամետրի վրա։ Վեց շերտով օֆլայն մոդելից սկսված աշխատանքը ավելի լավ է կանխատեսել՝ 99.17 ՄԲ ծանրաբեռնվածությամբ, բայց ավելի ծանր կշիռները ընդհանուր ֆայլը դարձրել են ավելի մեծ, քան միայն օնլայն աշխատանքի դեպքում։ Արդեն մշակված տեքստի պատուհանի ընդլայնումը 15-ից 35 միլիոն թոքենի կրճատել է ծանրաբեռնվածությունը միայն 1.21%-ով՝ 40% ավելի հաշվարկային ծախսով։ Tufa Labs-ը օպտիմալացումը ներկայացնում է ոչ միշտ այնքան պարզ, որքան ռեսուրսների ավելացումը, իսկ փոխզիջումները կարող են ավելի թանկ լինել։ Նա վեց շերտի փոխզիջումը ներկայացնում է որպես հաջորդ հետազոտական հարց՝ որքան կանխատեսման որակ կարող է պահպանել ավելի փոքր մոդելը, ինչը անհետացման կետը դարձնում է կանխատեսման որակի և մոդելի չափի հավասարակշռություն այս բենչմարքի համար։

Աղբյուրներ՝ Tom's Hardware

SiTech

SiTech — AI-ով հզորացված վեբ մշակում

Ստեղծում ենք արագ ու ժամանակակից կայքեր և AI-ը ներդնում իրական բիզնես գործընթացներում։ Ունե՞ք նախագիծ կամ հարց։ Ուրախ կլինենք օգնել։