400-801-8971
Languages:
  • CN
  • EN

实时数仓

保障企业实时决策

实时数据处理的三个阶段

第一阶段任务主要通常通过流处理引擎进行处理;

第二、第三阶段任务的按需型智能需要强大的实时数仓支撑;

不同阶段概念参考Gartner行业报告。

传统Lambda实时数据处理架构

Lambda架构 (批流分离)

Batch View = Push_function(Historical Immutable Data)

Real-time View = Push_function (Real-time View, New Immutable Data)

Query = Pull_function(Batch View,Real-time View)

传统的Kappa实时数据处理架构

Kappa架构(批流一体)

Real-time Batch View =Push_function(New Immutable Data, Historical Immutable Data)

融合了历史和当前实时数据计算的结果视图

Query = Pull_function(Real-time Batch View)

新一代Omega全实时数据处理架构

Omega架构

在按需型智能 (On-demand Intelligence) 之后由偶数科技2021年5月提出的新一代全实时数据处理架构。

Omega架构由流数据处理系统和实时数仓构成。融合了Lambda架构和Kappa架构处理流数据的优势,增加了实时按需智能和离线按需智能数据处理的能力,以及高效处理可变更数据实时快照的能力。

Snapshot View =Pull_function(All data)=Pull_function(Immutable Data, Mutable Data)基于全景快照数据计算得出的结果视图

Real-time Batch View =Push_function(New Immutable Data, Historical Immutable Data)

Query = Pull_function(Real-time Batch View, Batch View,Snapshot View)

实时数据处理架构对比

维度LambdaKappaOmega
全实时
不支持
不支持
支持
实时按需智能
不支持
不支持
支持
可更改数据实时快照
不支持
不支持
支持
离线按需智能
计算资源消耗
各自一套,开销较大
只有一套,开销较小
一套,开销可控,计算节点高可用
批处理效率
效率高,吞吐量大
批处理性能弱
效率高,吞吐量大
流处理效率
效率高,吞吐量大
效率高,吞吐量大
效率高,吞吐量大
流处理研发成本
两套,开发成本高
一套代码,维护成本低
一套代码,开发成本低
流处理研发成本
两套,开发成本高
一套代码,维护成本低
一套代码,开发成本低