Cloudflare חסכה 100 טרה-בייט מזיכרון המטמון של 1.1.1.1

מהנדסי Cloudflare הפחיתו ביותר ממחצית את השימוש בזיכרון של מטמון ה-DNS, באמצעות חמישה שינויים עוקבים באופן אחסון הרשומות. הדברים מתוארים בפוסט שפורסם בבלוג החברה ב-27 באוגוסט ועוסק ב-Big Pineapple, הפלטפורמה שמפעילה את הפותר הציבורי 1.1.1.1 וגם את Gateway DNS, ‏DNS Firewall ו-AS112.

מטמון של 250 מיליארד רשומות

Big Pineapple מחזיק בכל רגע יותר מ-250 מיליארד רשומות מטמון DNS. מכיוון שכל רשומה קיימת במקביל במאות מרכזי נתונים, אפילו בית מבוזבז אחד לרשומה עולה ביותר מ-250 גיגה-בייט ברחבי הצי. כל פריט במטמון הוא צמד מפתח-ערך: המפתח מזהה את מה שנשאל (שם, סוג רשומה, דגל אימות ותג), ואילו הערך מאחסן את התשובה עצמה — מקטעי answer, authority ו-additional, וכן מטא-נתונים כמו זמן היצירה, מונה פגיעות ו-TTL.

גודל המטמון משתנה בין מרכזי נתונים. כאשר נעשה שימוש ב-EDNS Client Subnet (ECS), שרתים סמכותיים מחזירים תשובות שונות בהתאם לרשת של הלקוח, ולכן Cloudflare שומרת כמה גרסאות של אותה שאילתה.

חמישה שינויים במבנה האחסון

הצוות מדד את ההשפעה על רשומות אקראיות המדמות את תעבורת הייצור: 56% רשומות A, ‏25% AAAA ו-19% TXT, עם אחת עד ארבע רשומות לפריט.

החלפת שדות Vec ו-String ב-Box<[T]> ו-Box<str> מסלקת את שדה ה-capacity ואת המקום שנשמר לגדילה בערימה — 8 בתים לשדה, 64 בתים לרשומה ויותר מ-15 טרה-בייט בצי כולו. אחסון מקטעי answer, authority ו-additional ברשימה אחת עם היסטים של 2 בתים במקום שלוש רשימות נפרדות חוסך 28 בתים נוספים לרשומה. ברוב הרשומות שם הבעלים זהה לתחום שנשאל, ולכן השדה הזה כבר אינו נשמר והשם משוחזר ממפתח המטמון בזמן הקריאה.

שני שינויים נוספים נגעו לגודל ה-enum של Rust. נתוני רשומה שנשמרו כ-enum תמיד תפסו כגודל הווריאנט הגדול ביותר — NAPTR בנפח 144 בתים — בעוד רשומת A זקוקה ל-4 בתים בלבד, כך שרוב הרשומות בזבזו יותר מ-120 בתים. העברת הווריאנטים הגדולים לערימה פתרה זאת, אך הוסיפה עיגול של המקצה והקצאות מפוזרות. השלב האחרון שומר את נתוני הרשומות כבייטים גולמיים בפורמט התיל במאגר אחד עם קידומת אורך של 2 בתים: זה מחזיר את סמיכות הזיכרון ומאפשר להעתיק את רוב הרשומות ישירות לתשובה היוצאת.

התוצאות בייצור

בבנצ'מרקים ירד הנפח לרשומה מ-953 בתים ל-420 בתים (‎-56%) וההקצאות מ-1.1 קילו-בייט ל-461 בתים (‎-58%). תפוקת ההכנסה עלתה מ-625 אלף ל-893 אלף רשומות בשנייה (‎+43%) וזמן האחזור ירד מ-828 ל-670 ננו-שניות (‎-19%).

הפריסה נמשכה מ-18 במאי עד 6 ביולי 2026, והזיכרון ירד בהדרגה עם כל גרסה. באחוזון 99 ירד הזיכרון הפרטי מכל מופע מ-9.3 גיגה-בייט ל-5.3 גיגה-בייט (‎-43%), ובאחוזון 90 מ-6.5 ל-3.8 גיגה-בייט (‎-42%). הזיכרון הכולל בצי קטן בכ-100 טרה-בייט — בערך כמו הזיכרון של 130 משרתי Gen 13 של החברה. Cloudflare מתכננת להשקיע את הזיכרון שנחסך בהגדלת המטמון, מה שאמור לשפר את שיעור הפגיעות ולהפחית את נפח השאילתות במעלה הזרם.