Cloudflare скоротила 70 GB/s з конвеєра даних завдяки змінам схеми, компресії та семплінгу

Команда даних Cloudflare, яка передає дані з глобальної мережі компанії до централізованих центрів обробки даних, описує серію оптимізацій, які між весною та осінього цього року усунули з магістралі близько 70 GB/s стисненого трафіку. Команда передає близько двох мільярдів подій за секунду та стикається з експоненційним зростанням трафіку на тлі лінійного зростання технічних потужностей.

Розділення схеми та компресія

У 2022 році Cloudflare розділила свою єдину монолітну схему повідомлень, яка об'єднувала поля всіх продуктів в одному потоці та змушувала внутрішніх споживачів отримувати все до фільтрації. Заміна на схеми, орієнтовані на продукти, зменшила використання пропускної здатності магістралі на 35-40%, що приблизно відповідає зростанню стисненого трафіку за один рік. У 2024 році команда перейшла зі стиснення LZ4 на zstd після того, як підтвердила, що вплив на CPU під час етапного розгортання є незначним. Зміна зменшила пропускну здатність стисненого трафіку майже на 40%, дозволивши тій самій інфраструктурі пропускати в 1,5 рази більше трафіку.

Розподілення навантаження та ранній семплінг

Навесні 2026 року Cloudflare перебудувала реплікацію для стійкості до катастроф. Замість того, щоб Logfwdr подвійно записував кожну нерегіональну подію в два централізованиі регіони, тепер кожна подія проходить один раз через транзит широкої зони з загальним пулом прийому та автоматичним перемиканням, побудованим на моделі сервісу Logpush. Реплікація між центрами даних відбувається в кінці конвеєра, після семплінгу, за допомогою шару буферизації Buftee. На мігрованих наборах це усунуло близько 43 GB/s стисненого транзиту, тоді як реплікація додала лише близько 7 GB/s, чистий ефект — 36 GB/s. Трафік HTTP-аналітики впав більш ніж на 50%, а Ready-Analytics зменшився з близько 28 GB/s до 16 GB/s.

Влітку 2026 року семплінг перемістився безпосередньо в Logfwdr. Алгоритм хешує записи за ключем, потім зберігає зразок, що дорівнює квадратному кореню з кількості записів, і масштабує до коефіцієнта семплінгу. Застосування на трьох найбільших наборах даних зменшило стиснені дані, що передаються по мережі, щонайменше вдвічі, заощадивши 25 GB/s на день, тобто понад 2 PB.

Ще більш рання агрегація

Восени 2026 року Cloudflare впровадила rollup-агрегацію на кожному етапі конвеєра: у екземплярах Logfwdr, централізованих приймачах, записувачах ClickHouse та двигунах агрегуючих таблиць ClickHouse. На наборі даних HTTP стиснутий трафік впав з понад 9 GB/s до менше ніж 2 GB/s, зменшення приблизно на 80%. Команда також випустила Ready-Aggregates — продукт агрегуючої аналітики з агрегацією в один клік.

Результат

Розподілення навантаження в конвеері заощадило близько 38 GB/s, семплінг — близько 25 GB/s, а агрегація — понад 7 GB/s. Приймачі Ready-Analytics звільнили близько 750 CPU та 3,5 TiB пам'яті. Без впровадження ці набори даних лише за вересень перевищили б 60 GB/s. Загалом пропускна здатність тепер відстає від траєкторії зростання, прогнозованої раніше, приблизно на вісім місяців, а зміни, реалізовані цього року, вдвічі зменшили прогнозований обсяг даних Cloudflare на 2031 рік. Разом із попередніми роботі вдосконалення за останні п'ять років еквівалентні затримці розширення апаратного забезпечення на два з половиною роки.

Джерела: Cloudflare