【金猿技术展】Kyligence智能分层存储——PB级规模数据的全场景OLAP

Kyligence技术

本项目由Kyligence投递并参与“数据猿年度金猿策划活动——2021大数据产业创新技术突破榜单及奖项”评选。

数据智能产业创新服务媒体

——聚焦数智 · 改变商业

智能分层存储是 Kyligence 提供的高级功能，搭载性能强大的 Clickhouse，帮助用户在未进行预计算的情况下快速冷启动进行查询，可以显著提升超多维度灵活分析和明细查询的性能。同时，基于 HDFS/对象存储和 Clickhouse 的两级存储设计，可全面覆盖各种分析场景，为用户带来基于海量数据下分析探索的更多可能性。

智能分层存储不仅能够支持多维度随机组合的灵活即席查询场景，比如标签分析或用户行为分析等场景，为企业的精细化运营和辅助商业决策带来更大的助力；同时分层存储可对接 Kyligence 统一的模型来管理数据，无缝对接主流商业 BI 工具和 Excel ，赋能业务人员进行分析。

(图片来源：Kyligence)

智能分层存储技术的核心亮点，就在于其分层架构的合理设计以及对不同技术底座的有机融合。在原有聚合分析的高性能之上，Kyligence 更有效提升了明细分析、Ad-Hoc 查询等场景的性能和优势。Kyligence 在产品存储的架构进行了分层设计：

• 第一层：MPP 引擎层——将数据存储在 ClickHouse 引擎中（目前仅存放表索引）

• 第二层：分布式存储层——将数据存储在 HDFS /对象存储中（存放预计算后的聚合索引）

• 第三层：查询下压层——查询可下推到其他数据源，如 SparkSql 以及各类 RDBMS 系统

启用智能分层存储后，用户无需关心数据是如何分布和导入的，只需要根据业务需求进行建立模型，这样可以大幅度地减少建模和模型调优阶段的人力和时间成本支出， 缩减新业务的上线周期， 从而帮助用户更及时地响应业务分析需求。

具体来看智能分层存储支撑的业务场景：

(图片来源：Kyligence）

智能分层存储的分层结构可以很好的支撑企业过去用一套架构不能方便支持的场景，比如现在最流行的用户画像分析场景。此场景下，企业需要具备以下能力：

• 开箱即用的标签管理、筛选、导出、集成能力；

• 支持用户圈选、导出、比对、即席分析、分组统计等场景；

• 支持日均更新百万条标签、数千标签量、上亿用户；

• 支持实时或离线的特征计算，以及海量特征标签存储。

Kyligence 的智能分层存储功能为企业提供了一个高效的解题思路。通过以下能力能从多个维度满足企业在用户画像场景下的需求：

1. 快速圈选，指标聚合：

• 支持用户对数千标签、上亿用户的快速圈选，在圈选后自由进行指标聚合；

2. 开箱即用，无缝导出：

• 提供开箱即用的工具，能够与查询引擎无缝对接；

• 提供标签管理、筛选、圈选后导出能力；

3. 开放生态，保护投资：

• 通过多种接口协议与第三方标签分析平台、BI 平台无缝对接；

• 支持与主流标签生成引擎及存储对接，支持对接业务系统；

• 保护已有技术投资、降低用户学习成本。

除了用户画像以外，智能分层存储还可应用于如用户行为分析、自助式灵活探索分析等在内的诸多应用场景和数据探索方式。

开发团队

·带队负责人：Kyligence CTO 李扬、产品创新中心副总裁李栋等。

·隶属机构：Kyligence

Kyligence 由 Apache Kylin 创始团队创建，致力于打造下一代智能数据云平台，为企业实现自动化的数据服务和管理。基于机器学习和人工智能等技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各种数据分析与应用，同时不断降低 TCO（总体拥有成本）。

Kyligence 已服务中国、美国及亚太的多个金融、制造、零售等行业客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、YUMC、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。

Kyligence 获得了来自红点、思科、宽带资本、顺为资本、斯道资本、Coatue Management、浦银国际、中金资本旗下基金、歌斐资产、国方资本、ASG、宏兆基金、浦信资本等投资机构的多轮投资。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设办事机构。

相关评价

Kyligence 使得我们的业务团队可以高效、敏捷地访问数据，获取正确的业务信息，从而快速做出精准的业务决策。

——中国银联数据服务部副总经理 王颖卓

我们都知道做数据产品的时候对性能和并发的要求是绕不过的一个槛，而Kyligence 作为我们数据服务的引擎，在数据湖和数据应用之间搭起了一个桥梁，满足了自助查询平台过于低延迟和高并发的要求。

——欣和集团数据平台负责人 王相会

提示：了解更多相关内容，点击文末左下角“阅读原文”链接可直达该机构官网。

《2021企业数智化转型升级服务全景图/产业图谱1.0版》

《2021中国数据智能产业图谱3.0升级版》

《2021中国企业数智化转型升级发展研究报告》

《2021中国数据智能产业发展研究报告》

❷ 创新服务企业榜 

❸ 创新服务产品榜

❸ 最具投资价值榜 

❺ 创新技术突破榜

☆条漫:《看过大佬们发的朋友圈之后，我相信：明天会更好！》

联系数据猿

北京区负责人:Summer

电话：18500447861(微信)

邮箱：summer@datayuan.cn

全国区负责人:Yaphet

电话：18600591561(微信)

邮箱：yaphet@datayuan.cn