דחיסה היא חיזוי: מדוע דחיסה ומודלי שפה גדולים פותרים את אותה בעיה

אנני סקסטון, מפתחת ומלמדת ב-ngrok, פרסמה ב-11 באוגוסט מאמר ארוך בשם "Compression is prediction", שטענתו המרכזית היא שדחיסת נתונים ומודלי שפה גדולים הם שני ביטויים של אותה מתמטיקה. היא מפרקת את פעולתו של מדחס שלב אחר שלב ומגיעה לנקודה שבה שני התחומים נפגשים.

יתירות, ולא רק קיצור

סקסטון מתחילה במזעור קוד: קטע JavaScript שמאבד הערות, רווחים ושמות משתנים ארוכים מתקצר מ-156 תווים ל-62, אך איש אינו מכנה זאת דחיסת נתונים. דחיסה אמיתית מנצלת יתירות: מחרוזת בת 28 תווים כמו "AAAAAAAAABBBBCCDAAADDDDDDDDD" נכתבת בקידוד אורך-רצף כ-"A9B4C2D1A3D9" — 96 סיביות במקום 224, קטן ב-57 אחוזים.

כלים מודרניים משלבים שלושה רכיבים: התמרות, מודל ומקודד אנטרופיה. המודל מקצה הסתברויות לסימנים, והמקודד הופך אותן לזרם סיביות. קידוד אריתמטי מייצג את כל המחרוזת "ABABAAC" כשבר בינארי אחד — 0.3876953125 — שנדרשות לו עשר סיביות בלבד במקום 56.

אנטרופיה היא גבול

מספר הסיביות הממוצע לסימן הוא האנטרופיה — גבול שאנון שדחיסה ללא אובדן אינה יכולה לעבור. התפלגות מוטה נדחסת טוב יותר: מחרוזת בת 12 תווים שנשלטת בידי אות אחת דרשה 0.82 סיביות לסימן, בעוד הדוגמה המאוזנת יותר נזקקה ל-1.38. ההקשר מחדד את ההסתברויות: האות U מופיעה באנגלית בהסתברות 0.028, אך אחרי Q היא עולה ל-0.999 — כ-0.001 סיביות לעומת 5.16. מודל מסדר ראשון על "TO BE OR NOT TO BE" הקטין את הפלט המוצפן מכ-47 סיביות ל-21.

מודלי שפה כחוזים

מאמר של Google DeepMind משנת 2023 טען שמידול שפה ודחיסה הם שני מבטים על אותו דבר. סקסטון ממשיכה את ההיגיון: מודל שפה מחזיר התפלגות הסתברויות לטוקן הבא, ומספר הסיביות לשמירתו שווה למינוס הלוגריתם של ההסתברות שהמודל נתן. אנטרופיה מוצלבת, הכמות שמודלי שפה ממזערים באימון, מחושבת לפי אותה נוסחה. על ציטוט של דיקנס נדרשו למודל מסדר ראשון 434 סיביות, בעוד GPT-2 הסתפק ב-176 — עשרה אחוזים מהמקור.

גם המגבלות המעשיות נותרו: לטעון מודל בגודל ג'יגה-בייטים כדי לדחוס תגובות HTTP יעלה יותר מהבייטים שנחסכו, ולכן gzip ו-Brotli עדיין נושאים את הרשת. השאלה הפתוחה אינה עד כמה המקודד מתקרב לגבול, אלא עד כמה נמוך יכול חוזה טוב יותר להוריד אותו.