Cloudflare تخفض 70 GB/s من خط أنابيب البيانات عبر تغييرات في المخطط والضغط وأخذ العينات

فريق بيانات Cloudflare، الذي ينقل البيانات من الشبكة العالمية للشركة إلى مراكز البيانات المركزية، يصف سلسلة من التحسينات التي أزالت حوالي 70 GB/s من حركة المرور المضغوطة من الخط الرئيسي بين الربيع والخريف من هذا العام. ينقل الفريق حوالي ملياري حدث في الثانية ويواجه نمواً أسياً في حركة المرور على خلفية نمو التقنيات الخطية.

تقسيم المخطط والضغط

في عام 2022، فككت Cloudflare مخطط الرسائل الأحادي المتجانس الخاص بها، الذي كان يجمع حقول جميع المنتجات في مسار واحد ويجبر المستخدمين الداخليين على استلام كل شيء قبل التصفية. استبدال المخططات بمخططات مخصصة لكل منتج خفض استخدام سعة الخط الرئيسي بنسبة 35-40%، وهو ما يعادل تقريباً سنة واحدة من نمو حركة المرور المضغوطة. في عام 2024، نقل الفريق الضغط من LZ4 إلى zstd بعد التأكد من أن التأثير على CPU أثناء النشر المرحلي كان ضئيلاً. التغيير خفض سعة حركة المرور المضغوطة بنسبة 40% تقريباً، مما منح نفس البنية التحتية القدرة على تمرير 1.5 ضعف حركة المرور.

توزيع الحمل وأخذ العينات المبكر

في ربيع 2026، أعادت Cloudflare بناء النسخ المتماثل من أجل مقاومة الكوارث. بدلاً من أن يكتب Logfwdr كل حدث غير إقليمي مرتين في منطقتين مركزيتين، يمر الآن كل حدث عبر عبور المنطقة الواسعة مرة واحدة، مع تجمع استقبال مشترك وتبديل تلقائي مبني على نموذج خدمة Logpush. تتم النسخ المتماثل بين مراكز البيانات في نهاية خط الأنابيب، بعد أخذ العينات، عبر طبقة التخزين المؤقت لـ Buftee. على الحزم المهاجرة، أزال هذا حوالي 43 GB/s من حركة العبور المضغوطة، بينما أضاف النسخ المتماثل حوالي 7 GB/s فقط، بخفض صافٍ قدره 36 GB/s. انخفضت حركة مرور تحليلات HTTP بأكثر من 50%، وانخفض Ready-Analytics من حوالي 28 GB/s إلى 16 GB/s.

في صيف 2026، انتقل أخذ العينات إلى Logfwdr نفسه. يخلط الخوارزمية السجلات حسب المفتاح، ثم تحتفظ بعينة تساوي الجذر التربيعي لعدد السجلات، وتقيّم التوسع بالنسبة لمعامل أخذ العينات. عند تطبيقه على أفضل ثلاث حزم بيانات، خفض البيانات المضغوطة المنقولة عبر الشبكة إلى النصف على الأقل، مما وفر 25 GB/s يومياً أو أكثر من 2 PB.

تجميع مبكر أكثر

في خريف 2026، أدخلت Cloudflare تجميع rollup في كل مرحلة من خط الأنابيب: في مثيلات Logfwdr، والمستقبلات المركزية، ونواب ClickHouse، ومحركات جداول ClickHouse القابلة للتجميع. على حزم بيانات HTTP، انخفضت حركة المرور المضغوطة من أكثر من 9 GB/s إلى أقل من 2 GB/s، بانخفاض بنسبة 80% تقريباً. أطلق الفريق أيضاً Ready-Aggregates، منتج تحليلات تجميعية يعمل بنقرة واحدة.

النتيجة

توزيع الحمل في خط الأنابيب وفر حوالي 38 GB/s، وأخذ العينات حوالي 25 GB/s، والتجميع أكثر من 7 GB/s. استعاد مستقبلو Ready-Analytics حوالي 750 CPU و3.5 TiB من الذاكرة. بدون تدخلات، كانت هذه الحزم وحدها ستتجاوز 60 GB/s بحلول سبتمبر. بشكل عام، السعة الآن تتخلف عن مسار النمو المتوقع سابقاً بحوالي ثمانية أشهر، والتغييرات المنفذة هذا العام خفضت حجم البيانات المتوقع لـ Cloudflare في 2031 إلى النصف. مع الأعمال السابقة، تحسينات السنوات الخمس الأخيرة تعادل تأخير توسيع الأجهزة بنصف عامين ونصف.

المصادر: Cloudflare