Cloudflare-ը K2-ն ներկայացրեց հանրային բետայում: R2-ի վրա հիմնված serverless իրադարձությունների հոսքեր

Cloudflare-ը հոկտեմբերի 1-ին հայտարարեց K2-ի հանրային բետան: K2-ն իրադարձությունների հոսքերի serverless պրիմիտիվ է մշակողների հարթակում: իրադարձությունները նրանում պահվում են դասավորված մատյանի ձևով, իսկ ընթերցողները կարող են կարդալ դրանք բեռնման մի քանի ընթերցողների վրա բաշխելով կամ բոլոր հաղորդագրությունները ստանալով: Ծառայությունը ամբողջությամբ serverless է, և ընթերցողի երկարատև անգործության ընթացքում տվյալները չեն կորում:

K2-ն լուծում է RPC ճարտարագիտության խնդիրը: այնտեղ արտադրողը (producer) և սպառողը (consumer) չափով և ժամանակով պետք է համապատասխանեն միմյանց, իսկ սպառողի հետնանցման դեպքում իրադարձությունները կորում են: K2-ն դրանց միջև դիմացկուն բուֆեր է՝ R2-ի օբյեկտային պահեստում, և ընթերցողներին տալիս է աշխատելու հնարավորություն իրենց սեփական արագությամբ:

Ինչպես է աշխատում

Օբյեկտային պահեստում գրելու հավելումը (append) անհնար է, ուստի K2-ն նախ հիշողության մեջ է հավաքում, այնուհետ գրում է ամբողջ հատվածը որպես ֆայլ: հաջորդականությունը և խիստ աճող հաշվեկշիռները ապահովում են R2-ի ատոմային գործողությունները՝ առանց առանձնական համակարգման ծառայության: Անհամապատասխանությունը փոքր է: օբյեկտային պահեստում գրելը տեղական սկավառակի նկատմամբ դանդաղ է, ուստի սկզբնական տարբերակում թողարկման հապաղումը 99-րդ տոկոսիլում մոտավորապես 1 վայրկյան է:

K2-ն սկզբնապես կառուցվել է ներքին կարիքների համար և նախատեսված էր Basin Pipelines-ի ներմուծման շերտի համար: pull-մոդելով աշխատող համակարգին հարկ էր լինում ստացված իրադարձությունները դիմացկուն պահել, մինչ դրանք կընթերցվեին և կգրվեին R2-ում: Սովորաբար դա կատարում է Apache Kafka-ն, բայց Cloudflare-ի edge-ն տարածված է 335-ից ավելի քաղաքներում, և դասական բաշխված համակարգերի գործարկումը այնտեղ փաստորեն անհնար է, ուստի թիմը ընտրեց R2-ն:

K2, Queues թե Pipelines?

Cloudflare-ն ունի նաև ասինխրոն առաքման այլ պրիմիտիվներ: Queues-ը և Basin Pipelines-ը: Queues-ը ուղղված է առանձին աշխատանքների վրա, որոնք պահանջում են մեծ ռեսուրս կամ ժամանակ: այն աջակցում է նոր փորձերին, հետաձգումներին և ձախողված փորձերի համար նախատեսված dead-letter հերթերին:

K2-ն նախատեսված է մեծ մասշտաբի տվյալների տեղափոխման, երկարաժամկետ պահելու և fan-out օգտագործման համար: հաղորդագրությունները ուղարկվում և ընթերցվում են մասերով, ինչը բարձրացնում է արդյունավետությունը, սակայն առանձին հաղորդագրության մակարդակում նոր փորձերը այլևս չեն աշխատում, և թողարկման հապաղումը Queues-ի նկատմամբ բարձր է: Basin Pipelines-ը serverless ներմուծման ծառայություն է, որը JSON իրադարձությունները գրում է R2-ում կամ Basin Catalog-ում: Cloudflare-ի առաջարկությամբ, Pipelines-ը պետք է ընտրեք, եթե արդյունքը պետք է հայտնիվի օբյեկտային պահեստում կամ Iceberg աղյուսակներում, իսկ K2-ն՝ համակարգված մշակման կամ այլ նախատեսման վայրերի համար:

Հասանելիություն և գներ

K2-ն հասանելի է Workers Paid բաժանորդագրություն ունեցող հաշիվներում: բետայի սահմանաչափերն են առավելագույնը 10 ԳԲ պահելու և 30 ՄԲ/վ արտադրության արագություն մեկ հոսքում, իսկ ավելի բարձր սահմանաչափերը տրամադրվում են առանձին հարցմամբ: Բետայի ընթացքում օգտագործումը անվճար է: հետագա գներն են 0,04 դոլար ԳԲ-ի համար ուղարկված և կարդացված տվյալների համար և 0,02 դոլար ԳԲ-ի համար ամսեկան պահելու համար:

Պլաների մեջ ներառված են գրելու ավելի բարձր զուգահեռություն, բանալիներ և դրանց վրա հիմնված հաջորդականության երաշխիքներ, push-ի վրա հիմնված առաքում Worker-ների համար, ցածր հապաղման Express tier և Apache Kafka հաճախորդների drop-in աջակցություն: