Cloudflare, şema, sıkıştırma ve örnekleme değişiklikleriyle veri hattından 70 GB/s azalttı

Cloudflare'ın şirketin ağ genelinden merkezi veri merkezlerine veri aktaran veri ekibi, bu yılın ilkbaharı ile sonbaharı arasında ana hat yaklaşık 70 GB/s sıkıştırılmış trafiği ortadan kaldıran bir optimizasyon serisini açıklıyor. Ekip saniyede yaklaşık iki milyar olay aktarıyor ve trafiğin üstel büyümesi, teknik altyapının doğrusal büyümesi karşısında zorlanıyor.

Şema bölme ve sıkıştırma

2022'de Cloudflare, tüm ürün alanlarını tek bir akışta birleştiren ve dahili kullanıcıların filtrelemeden önce her şeyi almasını zorunlu kılan monolitik mesaj şemasını parçaladı. Ürüne göre düzenlenmiş şemalara geçiş, ana hat kapasite kullanımını %35-40 azalttı; bu, yaklaşık bir yıllık sıkıştırılmış trafik büyümesine denk geliyor. 2024'te ekip, aşamalı dağıtım sırasında CPU etkisinin önemsiz olduğunu doğruladıktan sonra sıkıştırmayı LZ4'ten zstd'ye taşıdı. Değişiklik, sıkıştırılmış trafik kapasitesini neredeyse %40 azalttı ve aynı altyapının 1,5 kat daha fazla trafiği taşımasını sağladı.

Yük dengeleme ve erken örnekleme

2026 ilkbaharında Cloudflare, replikasyonu felaket direnci için yeniden inşa etti. Logfwdr'ın her bölgesel olmayan olayı iki merkezi bölgeye iki kez yazması yerine, her olay artık geniş bölge transitinden bir kez geçiyor, ortak bir alım havuzu ve Logpush hizeti modeline otomatik yedekleme ile çalışıyor. Veri merkezleri arasında replikasyon, örneklemeden sonra, Buftee'nin tamponlama katmanı aracılığıyla hattın sonunda gerçekleşiyor. Göç edilen yığınlarda bu yaklaşık 43 GB/s sıkıştırılmış transit ortadan kaldırırken, replikasyona yalnızca yaklaşık 7 GB/s eklendi; net azalma 36 GB/s oldu. HTTP analitiği trafiği %50'den fazla düştü, Ready-Analytics ise yaklaşık 28 GB/s'den 16 GB/s'ye geriledi.

2026 yazında örnekleme Logfwdr'ın içine taşındı. Algoritma kayıtları anahtara göre hash'ler, ardından kayıt sayısının karekökü kadar bir örnek tutar ve örnekleme katsayısına göre tahminleri ölçekler. İlk üç veri yığınağında uygulandığında, ağ üzerinden aktarılan sıkıştırılmış veriyi en az yarıya indirerek günde 25 GB/s, yani 2 PB'den fazla tasarruf sağladı.

Daha erken agregasyon

2026 sonbaharında Cloudflare, rollup agregasyonunu hattın her aşamasına ekledi: Logfwdr örneklerinde, merkezi alıcılarda, ClickHouse yazıcılarında ve ClickHouse toplu tablo motorlarında. HTTP veri yığınlarında sıkıştırılmış trafik 9 GB/s'nin üzerinden 2 GB/s'nin altına düştü, yaklaşık %80 azalma. Ekip ayrıca tek tıkla eyleme geçirilebilir agregasyon analitiği ürünü Ready-Aggregates'i yayınladı.

Sonuç

Hattaki yük dengeleme yaklaşık 38 GB/s, örnekleme yaklaşık 25 GB/s, agregasyon ise 7 GB/s'den fazla tasarruf etti. Ready-Analytics alıcıları yaklaşık 750 CPU ve 3,5 TiB bellek geri kazandırdı. Alım olmadan bu veri yığınları yalnızca Eylül için 60 GB/s'i aşacaktı. Toplamda kapasite, önceden öngörülen büyüme yörüngesinden yaklaşık sekiz ay geride kaldı ve bu yıl uygulanan değişiklikler Cloudflare'ın 2031 için öngörülen veri hacmini yarıya indirdi. Önceki çalışmalarla birlikte, son beş yıllık iyileştirmeler donanım genişletmesinin iki buçuk yıl ertelenmesine denk geliyor.

Kaynaklar: Cloudflare