Cloudflare-მა მონაცემთა პაიპლაინიდან 70 GB/s შეამცირა სქემის, კომპრესიისა და სემპლინგის ცვლილებებით

Cloudflare-ის მონაცემთა გუნდი, რომელიც კომპანიის გლობალური ქსელიდან ცენტრალურ მონაცემთა ცენტრებში მონაცემებს გადასცემს, აღწერს ოპტიმიზაციების სერიას, რომლებმაც წელს გაზაფხულსა და შემოდგომას შორის მაგისტრალიდან დაახლოებით 70 GB/s შეკუმშული ტრაფიკი მოაშორეს. გუნდი წამში დაახლოებით ორ მილიარდ მოვლენას გადასცემს და ექსპონენციურ ტრაფიკის ზრდას, ხაზოვანი ტექნიკის ზრდის ფონზე, აწყდება.

სქემის დაყოფა და კომპრესია

2022 წელს Cloudflare-მა დაშალა თავისი ერთიანი მონოლითური შეტყობინების სქემა, რომელიც ყველა პროდუქტის ველებს ერთ ნაკადში აერთიანებდა და შიდა მომხმარებლებს აიძულებდა, ფილტრაციამდე ყველაფერი მიეღოთ. პროდუქტზე მორგებული სქემებით ჩანაცვლებამ მაგისტრალის გამტარუნარიანობის გამოყენება 35-40%-ით შეამცირა, რაც დაახლოებით ერთი წლის შეკუმშული ტრაფიკის ზრდის ტოლია. 2024 წელს გუნდმა კომპრესია LZ4-დან zstd-ზე გადაიყვანა, მას შემდეგ რაც დაადასტურა, რომ ეტაპობრივი დანერგვის დროს CPU-ზე გავლენა უმნიშვნელო იყო. ცვლილებამ შეკუმშული ტრაფიკის გამტარუნარიანობა თითქმის 40%-ით შეამცირა, რამაც იმავე ინფრასტრუქტურას 1,5-ჯერ მეტი ტრაფიკის გატარების საშუალება მისცა.

დატვირთვის განაწილება და ადრეული სემპლინგი

2026 წლის გაზაფხულზე Cloudflare-მა რეპლიკაცია კატასტროფების გამძლეობისთვის თავიდან ააგო. იმის ნაცვლად, რომ Logfwdr-ს ყოველი არარეგიონული მოვლენა ორ ცენტრალიზებულ რეგიონში ორმაგად ჩაეწერა, ახლა ყოველი მოვლენა ფართო ზონის ტრანზიტს ერთხელ გადის, საერთო მიღების პულითა და ავტომატური გადართვით, რომელიც Logpush სერვისის მოდელზეა აგებული. მონაცემთა ცენტრებს შორის რეპლიკაცია პაიპლაინის ბოლოს ხდება, სემპლინგის შემდეგ, Buftee-ს ბუფერიზაციის ფენის მეშვეობით. მიგრირებულ ნაკრებებზე ამან დაახლოებით 43 GB/s შეკუმშული ტრანზიტი აღმოფხვრა, რეპლიკაციას კი მხოლოდ დაახლოებით 7 GB/s დაუმატა, წმინდა შემცირება 36 GB/s-ია. HTTP ანალიტიკის ტრაფიკი 50%-ზე მეტით დაეცა, Ready-Analytics კი დაახლოებით 28 GB/s-დან 16 GB/s-მდე შემცირდა.

2026 წლის ზაფხულში სემპლინგი თავად Logfwdr-ში გადავიდა. ალგორითმი ჩანაწერებს გასაღების მიხედვით აურევს, შემდეგ ინარჩუნებს ნიმუშს, რომელიც ჩანაწერების რაოდენობის კვადრატული ფესვის ტოლია, და შეფასებებს სემპლინგის კოეფიციენტის მიმართ ასკალირებს. ტოპ სამ მონაცემთა ნაკრებზე გამოყენებისას მან ქსელში გადაცემული შეკუმშული მონაცემები მინიმუმ ნახევრად შეამცირა, რითაც დღეში 25 GB/s ანუ 2 PB-ზე მეტი დაზოგა.

უფრო ადრეული აგრეგაცია

2026 წლის შემოდგომაზე Cloudflare-მა rollup აგრეგაცია პაიპლაინის ყველა საფეხურში შეიტანა: Logfwdr-ის ინსტანციებში, ცენტრალიზებულ მიმღებებში, ClickHouse-ის ჩამწერებში და ClickHouse-ის აგრეგირებადი ცხრილების ძრავებში. HTTP მონაცემთა ნაკრებზე შეკუმშული ტრაფიკი 9 GB/s-ზე მეტიდან 2 GB/s-ზე ნაკლებამდე დაეცა, დაახლოებით 80%-იანი შემცირება. გუნდმა ასევე გამოუშვა Ready-Aggregates, ერთი დაწკაპუნებით მოქმედი აგრეგაციული ანალიტიკის პროდუქტი.

შედეგი

პაიპლაინში დატვირთვის განაწილებამ დაახლოებით 38 GB/s დაზოგა, სემპლინგმა დაახლოებით 25 GB/s, აგრეგაციამ კი 7 GB/s-ზე მეტი. Ready-Analytics-ის მიმღებებმა დაახლოებით 750 CPU და 3,5 TiB მეხსიერება დაიბრუნეს. ჩარევების გარეშე მხოლოდ ეს მონაცემთა ნაკრები სექტემბრისთვის 60 GB/s-ს გადააჭარბებდა. საერთო ჯამში, გამტარუნარიანობა ახლა ადრე პროგნოზირებულ ზრდის ტრაექტორიას დაახლოებით რვა თვით ჩამორჩება, წელს განხორციელებულმა ცვლილებებმა კი Cloudflare-ის 2031 წლის პროგნოზირებული მონაცემთა მოცულობა ნახევრად შეამცირა. ადრინდელ სამუშაოებთან ერთად, ბოლო ხუთი წლის გაუმჯობესებები ჰარდვეარის გაფართოების ორი და ნახევარი წლით გადავადების ტოლია.

წყაროები: Cloudflare