უკან დაბრუნება

Tufa Labs-ის tufazip ვიკიპედიის 1 გბ უდანაკარგოდ შეკუმშა 105,39 MB-მდე
SiTech AI Team3 წთ. საკითხავი

Tufa Labs-ის tufazip ვიკიპედიის 1 გბ უდანაკარგოდ შეკუმშა 105,39 MB-მდე

Tufa Labs-ის თქმით, tufazip-მა ვიკიპედიის 1 გბ უდანაკარგოდ შეკუმშა 105,39 MB-მდე თვითსწავლებადი Transformer-პრედიქტორით, ხელით აწყობილი მოდელების გარეშე; თუმცა საჭიროა ორი Nvidia B200 GPU და დაახლოებით ერთი კვირა.

Tufa Labs-ის თქმით, tufazip-მა ვიკიპედიის 1 გბ უდანაკარგოდ შეკუმშა 105,39 MB-მდე. მეთოდი ერთადერთ პრედიქტორად 163 მილიონი პარამეტრის Transformer-ს იყენებს და ხელით აწყობილ კომპრესიის მოდელს არ საჭიროებს. ეს ყველაზე მცირე შედეგია Large Text Compression Benchmark-ზე იმ ჩანაწერების შორის, რომლებშიც ნეირონული ქსელი ერთადერთი პრედიქტორია.

როგორ მუშაობს tufazip

სრული პაკეტი ოპტიმიზაციის შემდეგ 105,39 MB-ია; მასში შედის 4,33 MB-იანი კვანტიზებული წინასწარ გაწვრთნილი საწყისი მოდელი, რომელიც ფაილის გაშლას სჭირდება. სრული მოდელი 12-შრიანი Transformer-ია; საწყისი მხოლოდ ორ გაწვრთნილ საფეხურს ინახავს და მათი გადაწერით ავსებს დანარჩენებს, როცა მოდელი მეხსიერებაში აეშვება; ასლები დამოუკიდებლად სწავლობენ. ეს თვითკმარი, მუშაობისას მოსწავლე ენის მოდელია, არა ჩატბოტი ან ღრუბლოვანი AI; კომპრესია უდანაკარგოა, ამიტომ პრედიქტორის განახლებები დეტერმინისტული უნდა იყოს. წვრთნა ორ ეტაპადაა: 34 მილიონი პარამეტრის საწყისი მოდელი კომპრესიამდე ოფლაინ იწვრთნება, შემდეგ სრული მოდელი ონლაინ სწავლობს ყოველი ტოკენის პროგნოზირებით და მასზე წვრთნით; გაშლის მხარე იმავეს იმეორებს და ტექსტის პარალელურად აღადგენს მოდელს. ზომა მოიცავს შეკუმშულ ტექსტს, გაშლის პროგრამას და საჭირო ფაილებს, მათ შორის საწყის მოდელს, მაგრამ არა სრულ გაწვრთნილ მოდელს. Tufa Labs-ის თქმით, ეს გამოარჩევს მას იმ 12 ჩანაწერისგან, რომლებიც ახლა ბენჩმარკზე მასზე მაღლა დგანან და Transformer-ს ხელით აწყობილ მოდელებთან აერთიანებენ.

შესრულება და ტექნიკური მოთხოვნები

tufazip შექმნა მკვლევარმა Tommy He-მ; პროექტი წარადგინა 2026 წლის 19 ნოემბრის კვლევითმა პოსტმა. პირველი, მხოლოდ ონლაინ ვერსია სექტემბრის დასაწყისში წარდგენისას მეორე ადგილზე იყო; 105,39 MB-იანი ვერსია 19 ნოემბრის განახლების მიხედვით მე-13 ადგილზეა. ბენჩმარკი მხოლოდ ტექსტურია; ეს კვლევაა, არა პროდუქტი. კომპრესიასა და დეკომპრესიას სატესტო მანქანაში ორი Nvidia B200 GPU და ორი Intel Xeon Platinum 8570 CPU სჭირდებოდა: 631 548 და 645 748 წამი, ანუ დაახლოებით 7,3 და 7,5 დღე, საწყისი მოდელის ოფლაინ წვრთნის გარეშე. პირველ ვერსიას, რომელიც 105,98 MB-ია, 647 595 და 630 136 წამი დასჭირდა. GPU-ების VRAM პიკი 43,37 GiB იყო, მთლიანი მეხსიერება GPU-ების ჩათვლით კი კომპრესიისას დაახლოებით 68 525 MiB, დეკომპრესიისას 73 748 MiB. შედარებისთვის: cmix-neif 2.0-მა 89,35 MB მიაღწია AMD Epyc 7B13-ზე ოთხი ბირთვით (49,2/49,3 სთ); DNA-4-მა 105,55 MB Nvidia RTX 4090-ზე (19,8 სთ წვრთნით, 2,6 სთ გაშლით); NNCP v3.2-მა 107,26 MB Nvidia RTX 3090-ზე (67,2/66,3 სთ).

ექსპერიმენტები და კომპრომისები

ექსპერიმენტები აჩვენებს, რომ უფრო მცირე ლექსიკა ეხმარება: 4K-სიტყვიანი ტოკენიზატორი აჯობებს 8K-საც და 16K-საც. ვიკიპედიის XML მარკაპისთვის ცალკე ტოკენების მიცემამ კომპრესია გააუარესა. 267 მილიონი პარამეტრის მოდელმა ამ მონაცემებზე ოდნავ უარესად იმუშავა, ვიდრე 188 მილიონი პარამეტრის მოდელმა; 100 MB-იანი ვერსიით მოგება დაახლოებით 77 მილიონ პარამეტრზე გათანაბრდა. უფრო დიდი, ექვსშრიანი ოფლაინ მოდელიდან დაწყებულმა გაშვებამ უკეთ იწინასწარმეტყველა და 99,17 MB-იანი მონაცემთა ტვირთი მისცა, მაგრამ მსხვილმა წონებმა საერთო ფაილი ონლაინ გაშვებაზე დიდი გახადა. უკვე დამუშავებული ტექსტის ფანჯრის 15-დან 35 მილიონ ტოკენამდე გაფართოებამ დამატებითი წვრთნისთვის ტვირთი მხოლოდ 1,21 პროცენტით შეამცირა, სამაგიეროდ 40 პროცენტით მეტი გამოთვლითი რესურსი დასჭირდა. Tufa Labs-ის მიხედვით, ოპტიმიზაცია ყოველთვის არ არის უბრალოდ მეტი რესურსის დამატება; კომპრომისები მოსალოდნელზე ძვირი შეიძლება იყოს. He-ს აზრით, ექვსშრიანი კომპრომისი შემდეგი კითხვაა: რამდენ პროგნოზულ ხარისხს ინარჩუნებს მცირე მოდელი, რაც გაქრობის წერტილს პროგნოზულ ხარისხსა და მოდელის ზომას შორის ბალანსად აქცევს.

წყაროები: Tom's Hardware

გააზიარე ციფრული გამოცდილება

SiTech

SiTech — AI-გაძლიერებული ვებ დეველოპმენტი

ვქმნით სწრაფ, თანამედროვე ვებსაიტებს და AI-ს ვაერთიანებთ ქართული ბიზნესებისთვის. გაქვთ პროექტი ან კითხვა? სიამოვნებით დაგეხმარებით.