Cloudflare şəkil, sıxma və seçim dəyişiklikləri ilə məlumat xəttindən 70 GB/s azaltdı

Cloudflare-in məlumat komandası, şirkətin qlobal şəbəkəsindən mərkəzi məlumat mərkəzlərinə məlumat ötürən, optimləşdirmələr seriyasını təsvir edir ki, onlar ilin yayı ilə payızı arasında magistraldan təxminən 70 GB/s sıxılmış trafik çıxardı. Komanda saniyədə təxminən iki milyard hadisə ötürür və eksponensial trafik artımı fonunda xətti texnika artımı ilə qarşılaşır.

Şəkilin bölünməsi və sıxılma

2022-ci ildə Cloudflare üzünün vahid monolit mesaj şəkilini sındırıb, hansı ki, bütün məhsulların sahələrini bir dəstədə birləşdirirdi və daxili istifadəçilərin filtrasiya ələmədən öncə hər şeyi qəbul etməyə məcbur edirdi. Məhsula uyğunlaşdırılmış şəkillər əvəzləməsi magistralın ötürücülüyünü 35-40% azaltdı ki, bu da təxminən bir illik sıxılmış trafik artımına bərabərdir. 2024-cü ildə komanda sıxılmanı LZ4-dən zstd-ə keçirdi, sadəcə CPU təsiri əhəmiyyətsiz olduğu təsdiqləndikdən sonra. Dəyişiklik sıxılmış trafik ötürücülüyünü təxminən 40% azaltdı, bu da eyni infrastrukturaya 1,5 dəfə çox trafik ötürücülük imkanı verdi.

Yüklənmənin paylanması və erkən seçim

2026-cı il yayı Cloudflare replikasiyanı davamlılıq üçün yenidən qurdu. Logfwdr-in hər bir regionaldan kənar hadisəsini iki mərkəzləşdirilmiş regiona ikiqədər yazması əvəzinə, indi hər hadisə geniş zonaya tranzit kimi dəfə keçir, ümumi qəbulu ümumi qəbul ilə və Logpush xidməti modelinə əsaslanan avtomatik keçidlə. Məlumat mərkəzləri arasındakı replikasiya xəttin sonunda, seçimdən sonra, Buftee buferləşmə təbəqəsi ilə baş verir. Köçürülmüş dəstlər üzərən bu təxminən 43 GB/s sıxılmış tranzit çıxardı, replikasiya isə yalnız təxminən 7 GB/s əlavə etdi, təmiz azalma 36 GB/s olur. HTTP analitika trafiği 50%-dən çox azaldı, Ready-Analytics isə təxminən 28 GB/s-dən 16 GB/s-ə qədər azaldı.

2026-cı il yayında seçim Logfwdr-in özünə keçdi. Alqoritm qeydləri açara görə qarışdırır, sonra qeydlərin sayının kvadrat kökünə bərabər nümunə saxlayır və seçim əmsalına qarşı miqyaslandırır. Ən üç məlumat dəstinə tətbiq edildikdə şəbəkədə ötürülən sıxılmış məlumatları minimum yarıya qədər azaltdı, bu da gündə 25 GB/s yəni 2 PB-dən çox qənaət etdi.

Daha erkən birləşdirmə

2026-cı il payızında Cloudflare rollup birləşdirməni xəttin hər addımına daxil etdi: Logfwdr nümunələrində, mərkəzləşdirilmiş qəbulçuşlarda, ClickHouse yazılarında və ClickHouse birləşdirilə bilən cədvəl dəyişikliklərində. HTTP məlumatları üzərən sıxılmış trafik 9 GB/s-dən çox 2 GB/s-dən az qədər azaldı, təxminən 80% azalma. Komanda həmçinin Ready-Aggregates, bir klik ilə işləyən birləşdirmə analitika məhsulunu buraxdı.

Nəticə

Xəttdə yüklənmə paylanması təxminən 38 GB/s qənaət etdi, seçim təxminən 25 GB/s, birləşdirmə isə 7 GB/s-dən çox. Ready-Analytics qəbulçuları təxminən 750 CPU və 3,5 TiB yaddaşı geri qaytardı. Bağlantılar olmadan yalnız bu məlumat dəsti sentyabr üçün 60 GB/s keçirdi. Ümumi olaraq, ötürücülük indi erkən proqnozlaşdırılmış artım trayektoriyasından təxminən səkkiz ay geridə qalır, il ərzində həyata keçirilmiş dəyişikliklər isə Cloudflare-in 2031-ci il proqnozlaşdırılmış məlumat həcmini yarıya qədər azaltdı. Əvvəlki işlərlə birlikdə, son beş ilin təkmilləşdirmələri aparat genişləndirməsini iki buçaq il gecikdirməyə bərabərdir.

Mənbələr: Cloudflare