Cloudflare K2-ni ictimai betaya təqdim etdi: R2 üzərində qurulmuş serverless hadisə axınları

Cloudflare 1 oktyabrda K2-ninictimai betasını elan etdi. K2 developerlər platformasında hadisə axınları üçün serverless primitivdir: hadisələr orada nizamlı jurnal şəklində saxlanılır, qəbulçular isə onları bir neçə oxuyucuya yükləmə paylayaraq və ya bütün mesajları qəbul etməklə oxuya bilərlər. Xidmət tamamilə serverless-dir və qəbulçunun uzun müddət fəaliyyətsiz qaldığı vaxtda belə məlumatlar itirilmir.

K2 RPC arxitekturasının problemini həll edir: orada producer və consumer miqrasiya və zaman baxımından bir-birinə uyğunlaşmalıdır, qəbulçunun geridə qalması halında isə hadisələr itirilir. K2 onların arasında R2 obyekt saxlaması üzərində dayanıqlı buferdir və oxuyuculara öz temp ilə işləmək imkanı verir.

Necə işləyir

Obyekt saxlamasına əlavə etmək (append) mümkün deyil, buna görə K2 əvvəlcə yaddaşda toplayır, sonra isə bölümün tamamilə fayl kimi yazır; ardıcıllığı və qəti artan ofsetləri R2-nin atom əməliyyatları təmin edir, ayrı koordinasiya xidməti olmadan. Aşağı gecikmə var: obyekt saxlamasına yazma lokal diskə nisbətən yavaşdır, buna görə ilk versiyada buraxılış gecikməsi 99 percentildə təxminən 1 saniyədir.

K2 əvvəlcə daxili ehtiyac üçün qurulub və Basin Pipelines-in ingest fəzası üçün nəzərdə tutulubdu: pull modeli ilə işləyən sistemə qəbul edilmiş hadisələrin möhkəm saxlanması lazım idi, onlar oxunub R2-ə yazılana qədər. Adətən bunu Apache Kafka edir, lakin Cloudflare edge şəbəkəsi 335-dən çox şəhərdə yayılıb və klassik paylanmış sistemlərin orada işə salınması praktiki olaraq mümkün deyil, buna görə komanda R2-ni seçib.

K2, Queues yoxsa Pipelines?

Cloudflare-in asinxron çatdırma üçün başqa primitivləri də var: Queues və Basin Pipelines. Queues ayrı işlərə yönəlmişdir, böyük resurs və ya zaman tələb edir; o, yenidən cəhdləri, gecikmələri və uğursuz cəhdlər üçün nəzərdə tutulmuş dead-letter növbələrini dəstəkləyir.

K2 isə yüksək miqyaslı məlumat daşınması, uzunmüddətli saxlanma və fan-out istifadəsi üçün nəzərdə tutulub; mesajlar hissələrə bölünərək göndərilir və oxunur, bu da effektivliyi artırır, lakin ayrı mesaj səviyyəsində yenidən cəhdlələr işləmir və buraxılış gecikməsi Queues-dən yüksəkdir. Basin Pipelines serverless ingest xidmətidir, ki, JSON hadisələrini R2-ə və ya Basin Catalog-a yazır; Cloudflare-in tövsiyəsinə əsasən, nəticə obyekt saxlamasında və ya Iceberg cədvəllərində olmalıdırsa, Pipelines-i, isə uyğunlaşdırılmış emal üçün və ya başqa təyinat yerləri üçün K2-ni seçmək lazımdır.

Əlçatanlıq və qiymətlər

K2 Workers Paid buraxılışı olan hesablarda əlçatanlıq; beta limitləri maksimum 10 GB saxlama və bir axını üçün 30 MB/s buraxılış sürətidir, daha yüksək limitlər isə ayrıca tələblə verilir. Beta müddətində istifadə pulsuzdur; ehtimal olunan qiymətlər göndərilən və oxunan məlumatlar üçün GB başına 0,04 dollar və ayda saxlanma üçün GB başına 0,02 dollardır.

Planlara yazma üçün daha yüksək paralellik, açarlar və onlara əsaslanan ardıcıllıq zəmanətləri, Worker-lər üçün push əsaslı çatdırma, aşağı gecikməli Express tier və Apache Kafka müştəriləri üçün drop-in dəstək daxildir.