Databricks-in Lakebase-i tranzaksiya ilə analitika arasındaki sərhədi silir

Otuz ildən çox müddətdə veri arxitekturaları sərt əmək bölgüsünə əsaslanırdı: PostgreSQL, MySQL və Oracle kimi OLTP sistemləri real vaxtda tətbiq vəziyyətini idarə edirdi, Apache Spark, Snowflake və Delta Lake kimi analitik mühərriklər isə tarixi veriləri saxlayır və ağır ML yüklərini icra edirdi.

Onların arasında kövrək ETL xətləri dayanırdı: şirkətlər əməliyyat verilərini analitik lakehouse-a köçürmək üçün mürəkkəb sinxronizasiya qurur, sonra feature verilərini tətbiqlərə geri ötürməkdə çətinlik çəkirdi. HackerNoon-da dərc olunan analizdə müəllif iddia edir ki, Neon texnologiyası üzərində qurulmuş açıq lakehouse əsaslı əməliyyat serverless Postgres mühərriki Lakebase bu divarı sökür.

Verilənlər bazalarının üçüncü nəsli

Müəllif Lakebase-i növbəti idarə olunan Postgres nüsxəsi deyil, yeni kateqoriya kimi qiymətləndirir. Əvvəlki bazalar monolitlər ya da saxlamanı mülki saxlayan bulud sistemləri idi; Lakebase üçüncü nəsil kimi təsvir olunur: göl üzərində açıq formatlı saxlama və serverless, müvəqqəti Postgres hesablaması.

Budaqlanma, scale-to-zero və zero-ETL

Üç xüsusiyyət önə çıxır. copy-on-write budaqlanması istehsalat verilərinin klonlanması üçün ənənəvi mühitlərin ehtiyac duyduğu saatlar yerinə millisaniyələr içində tam və təcrid olunmuş bazalar yaradır; tərtibatçılar və AI agentləri sxem dəyişikliklərini sınaqdan keçirir və mühitləri dərhal silə bilir.

Ayrılmış hesablama nüsxələrin bir saniyədən az müddətdə işə düşməsinə və boş qaldıqda sıfıra düşməsinə imkan verir ki, bu da partlayışlı agent yüklərini istifadə əsaslı istehlaka keçirir. Əməliyyat veriləri lakehouse-un oxuya bildiyi formatlarda yazıldığı üçün komandalar analitik sorğular və ya LLM-lər üçün feature store-u qidalandırmaq üçün CDC və ya ETL xətlərinə ehtiyac duymur: Spark, Databricks SQL və Delta Lake canlı veriləri birbaşa sorğulayır.

Bu, veri və AI mühəndisləri üçün nə deməkdir

Vahid idarəetmə şəraitində əməliyyat və analitik cədvəllər Unity Catalog vasitəsilə eyni giriş nəzarətinə və mənşə izləməsinə tabe ola bilər. Müəllif AI agent yaddaşını da qeyd edir: agentlərə vəziyyət idarəsi, pgvector ilə vektor axtarışı və sürətli sorğular lazımdır.

Nəticə hazır məhsul deyil, istiqamətdir: müəssisələr muxtar agentlərə və real vaxt xətlərinə keçdikcə altındakı baza da inkişaf etməlidir — açıq, real vaxtlı, serverless və AI-native platformalara doğru.