Cloudflare-ը տվյալների մշակման համակարգից կրճատեց 70 GB/s՝ սխեմայի, սեղմման և ընտրության փոփոխություններով

Cloudflare-ի տվյալների խումբը, որը ընկերության գլոբալ ցանցից կենտրոնական տվյալների կենտրոններ է տեղափոխում, նկարագրում է օպտիմիզացումների շարք, որոնք գարունից աշուն միջակայքում մագիստրալից հեռացրեցին մոտ 70 GB/s սեղմված թրաֆիկ։ Խումբը վայրկյանում մոտ երկու միլիարդ իրադարձություն է տեղափոխում և էքսպոնենցիալ թրաֆիկի աճի հետ մեկտեղ գծային տեխնիկայի աճի ֆոնին խախտվում է։

Սխեմայի բաժանում և սեղմում

2022 թվականին Cloudflare-ը բաժանեց իր միասնական մոնոլիթային հաղորդագրության սխեման, որը բոլոր արտադրանքի դաշտերը մեկ հոսքում է միավորում էր և ներքին օգտատերերին ստիպում էր ֆիլտրացումից առաջ բոլորը ստանալ։ Արտադրանքին համապատասխան սխեմաներով փոխարինելը մագիստրալի թողունակության օգտագործումը կրճատեց 35-40%-ով, ինչը մոտավորապես հավասար է մեկ տարվա սեղմված թրաֆիկի աճին։ 2024 թվականին խումբը սեղմումը LZ4-ից zstd է փոխել, երբ հաստատել է, որ էտապային ներդրման ընթացքում CPU-ի վրա ազդեցությունն աննշան էր։ Փոփոխությունը սեղմված թրաֆիկի թողունակությունը կրճատեց գրեթե 40%-ով, ինչը նույն ենթակառուցվածքով 1,5 անգամ ավելի շատ թրաֆիկ է տեղափոխելու հնարավորություն տվեց։

Բեռնի հավասարակշռում և վաղ ընտրություն

2026 թվականի գարունը Cloudflare-ը ռեպլիկացիան կատաստրոֆայի դիմադրունակության համար վերստեղծեց։ Logfwdr-ը ամեն ոչ տարածաշրջանային իրադարձությունը երկու կենտրոնացված տարածաշրջանում կրկնակի գրանցելու փոխարեն այժմ ամեն իրադարձությունը լայն գոտու տրանզիտով մեկ անգամ անցնում է՝ ընդհանուր մուտքագրման պուլով և Logpush ծառայության մոդելի վրա հիմնված ավտոմատ փոխանցմամբ։ Տվյալների կենտրոնների միջև ռեպլիկացիան տեղի է ունենում մշակման համակարգի վերջում, ընտրությունից հետո, Buftee-ի բուֆերացման շերտի միջոցով։ Միգրացված խմբերի վրա դա մոտ 43 GB/s սեղմված տրանզիտ է վերացրել, իսկ ռեպլիկացիան ավելացրել է միայն մոտ 7 GB/s՝ մաքուր կրճատումը 36 GB/s է։ HTTP վերլուծական թրաֆիկը նվազել է 50%-ից ավելին, իսկ Ready-Analytics-ը՝ մոտ 28 GB/s-ից 16 GB/s-ից։

2026 թվականի ամռանը ընտրությունը տեղափոխվել է անմիջապես Logfwdr։ Ալգորիթմը գումարում է գրառումները բանալու միջոցով, հետո պահպանում է օրինակ, որը հավասար է գրառումների քանակի քառակուսի արմատին, և գնահատում է ընտրության գործակիցի ուղղությամբ մասշտաբավորումը։ Երեք առաջատար տվյալների խմբերի վրա կիրառելիս դա ցանցով փոխանցված սեղմված տվյալները կիսեց առնվազն, ինչով օրական 25 GB/s, այսինքն ավելի քան 2 PB է խնայել։

Ավելի վաղ ագրեգացում

2026 թվականի աշունը Cloudflare-ը rollup ագրեգացում ներդրեց մշակման համակարգի բոլոր փուլերում՝ Logfwdr-ի օրինակներում, կենտրոնացված ընդունիչներում, ClickHouse-ի գրառողներում և ClickHouse-ի ագրեգացվող աղյուսակների շարժիչներում։ HTTP տվյալների խմբի սեղմված թրաֆիկը նվաճել է 9 GB/s-ից ավելիից՝ 2 GB/s-ից պակաս, մոտ 80%-անկայ կրճատում։ Խումբը նաև թողարկեց Ready-Aggregates՝ մեկ սեղմումով գործուն ագրեգացման վերլուծական արտադրանք։

Արդյունք

Մշակման համակարգում բեռնի հավասարակշռումը խնայել է մոտ 38 GB/s, ընտրությունը՝ մոտ 25 GB/s, ագրեգացիան՝ 7 GB/s-ից ավելին։ Ready-Analytics-ի ընդունիչները ազատել են մոտ 750 CPU և 3,5 TiB հիշողություն։ Առանց մուտքագրման միայն այս տվյալների խմբերը սեպտեմբերին կգերազանցեին 60 GB/s։ Ընդհանորդ առումով թողունակությունն այժմ մոտավորապես ութ ամիս հետ է մնում նախկին կանխատեսված աճի տրաեկտորիայից, իսկ տարս իրականացված փոփոխությունները կիսել են Cloudflare-ի 2031 թվականի կանխատեսված տվյալների ծավալը։ Միասնականորեն վաղ ընթացքների հետ վերջին հինգ տարվա բարելավումները համարժեք են սարքավորումների ընդլայնման երկուսուկես տարով հետաձգմանը։

Աղբյուրներ: Cloudflare