首页 能源战略 油气 电力 煤炭 新兴能源 节能环保 资料库 视频资讯

减排/服务

旗下栏目: 清洁能源 减排/服务 环境保护 低碳/循环

华为云GaussDB(DWS)实时数仓四大黑科技,支撑高并发高性能实时数据分析

文章来源:中国能源网                   发布时间:2021-04-09
摘要:随着互联网和物联网的快速发展,实时数据分析应用的业务需求量日益增长,例如实时推荐、实时风控、实时监测、精准营销等,数据实时处理能力成为企业提升竞争力的一大因素。华为云GaussDB(DWS)实时数仓提供即开即用、可扩展且完全托管的分析型数据仓库服务,支

随着互联网和物联网的快速发展,实时数据分析应用的业务需求量日益增长,例如实时推荐、实时风控、实时监测、精准营销等,数据实时处理能力成为企业提升竞争力的一大因素。华为云GaussDB(DWS)实时数仓提供即开即用、可扩展且完全托管的分析型数据仓库服务,支撑高并发高性能实时数据分析。4月8日,在华为云TechWave全球技术峰会数据使能分论坛上,GaussDB(DWS)技术专家详谈实时数仓黑科技。

GaussDB(DWS)实时数据分析技术架构基于企业级内核,采用统一SQL引擎,多引擎协同,实现数据体系内自闭环,从而达到一份数据多个引擎调用,高效多维度分析。依据流数据和时序数据特征打造出从优化器、执行器到存储的全系列、高性能、可扩展的实时数仓,提供四大技术创新:

1.CEP引擎告别T+1模式

改变传统数据先入库再查询的分析模式,CEP引擎提供流计算能力:数据先计算分析,并实时反馈计算结果,计算结果可以继续进行下一步计算或者保存,大大降低了数据处理时延。

2.1=N:GaussDB(DWS)实时数仓=Flink/SparkStreaming+Druid+InfluxDB……

国内首创在同一套系统内实现流和时序数据的处理和预聚合操作,减少数据跨系统间迁移,降低冗余存储和加载时间,最大化的利用系统缓存,提高处理效率。

3.预置丰富时序、流处理函数,一切皆SQL

采用最简洁高效的数据开发语言SQL,并预置丰富的时序和流处理函数,通过SQL即可完成复杂流式计算,可实现亿级数据,秒级聚合,极大简化应用开发。

4.高达40:1的压缩比,极大节约存储成本

通过自适应压缩算法,充分利用行列混合存储+时序数据专用压缩算法优势,实现低时延查询和高效存储。

技术专家还分享了实时智能监控平台的实践,传统数据仓库单节点入口性能和散列度存在瓶颈,GaussDB(DWS)实时数仓单节点入库性能超过10w/s,支持千万级散列度计算,彻底解决时序数据和流数据“装不进”和“算不动”的问题。

目前GaussDB(DWS)实时数仓已经正式发布公测。华为云GaussDB(DWS)实时数仓仍将不断迭代优化,为企业用户提供更强大的实时数据分析能力。