
Tufa Labs tufazip يضغط 1 GB من Wikipedia إلى 105.39 MB بدون فقدان
تقول Tufa Labs إن tufazip ضغط 1 GB من Wikipedia إلى 105.39 MB بدون فقدان باستخدام متنبئ من نوع Transformer يتعلم ذاتيا، من دون نماذج مبنية يدويا، لكنه يحتاج إلى وحدتي GPU من نوع Nvidia B200 لمدة نحو أسبوع.
تقول Tufa Labs إن نظام tufazip ضغط 1 GB من Wikipedia إلى 105.39 MB بدون فقدان. تستخدم الطريقة Transformer من 163 مليون معلمة كمتنبئ وحيد، ومن دون نموذج ضغط مبني يدويا. وهو أصغر نتيجة على Large Text Compression Benchmark بين الإدخالات التي تستخدم شبكة عصبية كمتنبئ وحيد.
كيف يعمل tufazip
الحزمة الكاملة هي 105.39 MB بعد التحسين، وتتضمن نموذج بداية صغيرا بحجم 4.33 MB مُدرَّبا مسبقا ومخزنا بدقة منخفضة، أو مكمما، لتوفير مساحة؛ ويُحتاج إلى نموذج البداية هذا لفك ضغط الملف. النموذج الكامل هو Transformer من 12 طبقة، بينما يخزن نموذج البداية مرحلتين مُدرَّبتين مسبقا فقط وينسخهما ذهابا وإيابا لملء الـ 12 بمجرد أن يبدأ النموذج الكامل العمل في الذاكرة؛ وكل نسخة تواصل التعلم بشكل مستقل. هذا نموذج لغة مستقل يتعلم أثناء العمل، وليس chatbot تقليديا ولا AI سحابيا، والضغط بدون فقدان، لذا يجب أن تكون تحديثات المتنبئ حتمية بالكامل. يحدث التدريب على مرحلتين: يُدرَّب نموذج بداية من 34 مليون معلمة دون اتصال قبل أن يبدأ الضغط، ثم يتعلم النموذج الكامل عبر الشبكة من خلال التنبؤ بكل token والتدريب عليه، مع أن جانب فك الضغط يكرر الخطوات نفسها ويعيد بناء النموذج بجانب النص. الحجم الإجمالي يتضمن النص المضغوط، وبرنامج فك الضغط، والملفات اللازمة بما فيها نموذج البداية، لكنه لا يتضمن النموذج المدرب بالكامل. تقول Tufa Labs إن هذا يميزه عن الإدخالات الـ 12 التي تتفوق عليه الآن في هذا المقياس، والتي تمزج Transformer بنماذج مبنية يدويا.
الأداء ومتطلبات الأجهزة
بنى الباحث Tommy He نظام tufazip، وقدمه منشور بحثي بتاريخ 19 نوفمبر 2026. نسخته الأولى، التي عملت عبر الشبكة فقط، حلت في المرتبة الثانية عند تقديمها في أوائل سبتمبر؛ أما نسخة 105.39 MB فكانت في المرتبة 13 بحسب تحديث المقياس في 19 نوفمبر. المقياس نصي فقط، والعمل لأغراض بحثية وليس منتجا. يحتاج الضغط وفك الضغط إلى وحدتي GPU من نوع Nvidia B200 بالإضافة إلى معالجي Intel Xeon Platinum 8570 في جهاز الاختبار، ويستغرقان 631,548 ثانية و645,748 ثانية، أي نحو 7.3 و7.5 يوما، من دون احتساب التدريب المسبق لنموذج البداية. النسخة الأولى، بحجم 105.98 MB، استغرقت 647,595 و630,136 ثانية. بلغ ذروة ذاكرة VRAM للوحدتين 43.37 GiB بينهما، وبلغ إجمالي استخدام الذاكرة، بما في ذلك وحدات GPU، نحو 68,525 MiB أثناء الضغط و73,748 MiB أثناء فك الضغط. للمقارنة، بلغ cmix-neif 2.0 حجم 89.35 MB على AMD Epyc 7B13 بأربعة أنوية في 49.2 ساعة للضغط و49.3 ساعة لفك الضغط؛ وبلغ DNA-4 حجم 105.55 MB على Nvidia RTX 4090 في 19.8 ساعة شاملة التدريب و2.6 ساعة لفك الضغط؛ وبلغ NNCP v3.2 حجم 107.26 MB على Nvidia RTX 3090 في 67.2 ساعة و66.3 ساعة.
التجارب والمقايضات
تظهر التجارب أن مفردات أصغر قد تساعد: مقسم الرموز ذو 4K كلمة يتفوق على 8K و16K معا. ومنح ترميز XML الخاص بـ Wikipedia رموزا مخصصة جعل الضغط أسوأ. وكان نموذج بـ 267 مليون معلمة أسوأ قليلا من نموذج بـ 188 مليون معلمة على هذه المجموعة من البيانات، ومع نسخة أصغر من الملف بحجم 100 MB استقرت المكاسب عند نحو 77 مليون معلمة. أما التشغيل الذي بدأ من نموذج أكبر من ست طبقات دون اتصال فقد تنبأ بشكل أفضل، بحمولة 99.17 MB، لكن أوزانه الأثقل جعلت الملف الإجمالي أكبر من التشغيل عبر الشبكة فقط. وتوسيع نافذة النص المعالج سابقا المستخدمة للتدريب الإضافي من 15 إلى 35 مليون token قلص الحمولة بنسبة 1.21 في المئة فقط مقابل 40 في المئة من الحوسبة الإضافية. وتقدم Tufa Labs التحسين على أنه ليس دائما بسيطا كإضافة مزيد من الموارد، مع مقايضات قد تكون أغلى من المتوقع. ويطرح He مقايضة الطبقات الست سؤال البحث التالي: كم من جودة التنبؤ يمكن لنموذج أصغر أن يحتفظ بها، ما يجعل نقطة التلاشي توازنا بين جودة التنبؤ وحجم النموذج في هذا المقياس.
المصادر: Tom's Hardware
SiTech — تطوير ويب مدعوم بالذكاء الاصطناعي
نبني مواقع سريعة وعصرية وندمج الذكاء الاصطناعي في سير عمل الشركات. لديك مشروع أو سؤال؟ يسعدنا مساعدتك.