חזרה

Tufa Labs: tufazip דוחס 1 ג'יגה-בייט של ויקיפדיה ל-105.39 מגה-בייט ללא אובדן
SiTech AI Team3 דק׳ קריאה

Tufa Labs: tufazip דוחס 1 ג'יגה-בייט של ויקיפדיה ל-105.39 מגה-בייט ללא אובדן

Tufa Labs אומרת כי tufazip דחס ללא אובדן 1 ג'יגה-בייט של ויקיפדיה ל-105.39 מגה-בייט באמצעות חזאי Transformer לומד בעצמו, ללא מודלים שפותחו ביד, אך הוא זקוק לשני כרטיסי Nvidia B200 למשך כשבוע.

Tufa Labs אומרת שמערכת tufazip שלה דחסה ללא אובדן 1 ג'יגה-בייט של ויקיפדיה ל-105.39 מגה-בייט. השיטה משתמשת בTransformer בעל 163 מיליון פרמטרים כחזאי היחיד שלה וללא מודל דחיסה שפותח ביד. זוהי התוצאה הקטנה ביותר במדד דחיסת הטקסט הגדול בקרב הכניסות שמשתמשות ברשת עצבית כחזאי יחיד.

איך tufazip עובד

החבילה המלאה היא 105.39 מגה-בייט לאחר אופטימיזציה וכוללת מודל התחלה קטן של 4.33 מגה-בייט שפותח מראש ונשמר בדיוק נמוך, או מכומת, כדי לחסוך מקום; מודל ההתחלה נדרש כדי לפרוק את הקובץ. המודל המלא הוא Transformer בן 12 שכבות, בעוד שההתחלה שומרת רק שני שלבים שכבר אומנו ומעתיקה אותם הלוך וחזור כדי למלא את כל 12 ברגע שהמודל המלא עולה בזיכרון; כל העתק ממשיך ללמוד בעצמו. זהו מודל שפה עצמאי שלומד בזמן אמת, לא צ'אטבוט מסורתי או בינה מלאכותית בענן, והדחיסה היא ללא אובדן, לכן עדכוני החזאי חייבים להיות דטרמיניסטיים לחלוטין. האימון מתרחש בשני שלבים: התחלה של 34 מיליון פרמטרים מאומנת אופליין לפני שהדחיסה מתחילה, ואז המודל המלא לומד אונליין על ידי חיזוי כל טוקן ואימון עליו, כאשר צד הפריקה חוזר על אותם צעדים ובונה מחדש את המודל לצד הטקסט. הגודל הכולל כולל את הטקסט הדחוס, תוכנית הפריקה, והקבצים הנדרשים כולל ההתחלה, אך לא את המודל המאומן במלואו. Tufa Labs אומרת שזה מבדיל אותה מכל 12 הכניסות שמדורגות מעליה כעת במדד, שמשלבות Transformer עם מודלים שפותחו ביד.

ביצועים ודרישות חומרה

החוקר טומי הי בנה את tufazip, ופוסט מחקר מתאריך 19 בנובמבר 2026 הציג אותו. הגרסה הראשונה, המקוונת בלבד, דורגה שנייה כאשר הוגשה בתחילת ספטמבר; גרסת ה-105.39 MB הייתה במקום ה-13 נכון לעדכון הבנצ'מרק ב-19 בנובמבר. הבנצ'מרק הוא טקסט בלבד והעבודה היא למטרות מחקר, לא מוצר. דחיסה ופריקה יצטרכו שני כרטיסי Nvidia B200 GPU בנוסף לשני מעבדי Intel Xeon Platinum 8570 במכונת הבדיקה, וייקחו 631,548 שניות ו-645,748 שניות, או כ-7.3 ו-7.5 ימים, לא כולל האימון הלא-מקוון של המתנע. הגרסה הראשונה, בגודל 105.98 MB, לקחה 647,595 ו-630,136 שניות. זיכרון ה-VRAM של ה-GPU הגיע לשיא של 43.37 GiB ביניהם, ושימוש הזיכרון הכולל, כולל GPUs, הגיע לשיא של כ-68,525 MiB במהלך הדחיסה ו-73,748 MiB במהלך הפריקה. לשם השוואה, cmix-neif 2.0 הגיע ל-89.35 MB על AMD Epyc 7B13 עם ארבע ליבות ב-49.2 שעות דחיסה ו-49.3 שעות פריקה; DNA-4 הגיע ל-105.55 MB על Nvidia RTX 4090 ב-19.8 שעות כולל אימון ו-2.6 שעות פריקה; NNCP v3.2 הגיע ל-107.26 MB על Nvidia RTX 3090 ב-67.2 שעות ו-66.3 שעות.

ניסויים ופשרות

הניסויים מראים שאוצר מילים קטן יותר יכול לעזור: טוקנייזר של 4K מילים מנצח גם 8K וגם 16K. מתן אסימונים ייעודיים לסימון XML של ויקיפדיה החמיר את הדחיסה. מודל של 267 מיליון פרמטרים ביצע מעט גרוע יותר ממודל של 188 מיליון פרמטרים על ערכת נתונים זו, ועם גרסה קטנה יותר של 100 MB של הקובץ, הרווחים התיישרו בערך ב-77 מיליון פרמטרים. ריצה שהחלה ממודל לא-מקוון גדול יותר בן שש שכבות חזתה טוב יותר, עם מטען של 99.17 MB, אבל המשקולות העבות יותר שלו הפכו את הקובץ הכולל לגדול יותר מהריצה המקוונת בלבד. הרחבת החלון של טקסט מעובד-כבר ששימש לאימון נוסף מ-15 ל-35 מיליון אסימונים קיצצה את המטען רק ב-1.21 אחוז במחיר של 40 אחוז יותר חישוב. Tufa Labs מציגה אופטימיזציה כלא תמיד פשוטה כמו הוספת משאבים נוספים, עם פשרות שיכולות להיות יקרות יותר מהצפוי. הוא ממסגר את הפשרה של שש השכבות כשאלת המחקר הבאה: כמה איכות חזויה מודל קטן יותר יכול לשמור, מה שהופך את נקודת ההיעלמות לאיזון בין איכות חזויה וגודל מודל עבור בנצ'מרק זה.

מקורות: Tom's Hardware

SiTech

SiTech — פיתוח אתרים בכוח ה-AI

אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.