还在做Flink+Druid/ES/Hbase的实时数仓吗？AbutionGraph+Flink带您构建流批一体的增强流式知识图谱数据仓库

AbutionGraph是众多国产数据库中新兴的一员&＃xff0c;且是唯一一款GraphHOLAP的实时知识图谱数据仓库&＃xff0c;将在本文中介绍Abution如何结合Flink&＃xff08;无缝对接Flink-1.12.1&＃xff09;构建增强的流批一体实时数仓。

Abution结合Flink和Spark的差异

AbutionGraph最初实现了跟Spark的无缝对接&＃xff0c;使得我们可以很方便的将图数据与Spark的数据结构GraphX、GraphFrames、DataFrame、RDD互转&＃xff0c;格式的转化已经覆盖了Spark的所有格式。对于流式处理&＃xff0c;Spark和Flink一样&＃xff0c;都具有流和批处理能力&＃xff0c;不同的是&＃xff0c;Spark的流是微批流&＃xff0c;我们需要的延迟越低&＃xff0c;额外的开销越大&＃xff0c;甚至很难做到亚秒及的延迟响应。而Flink是真实的事件流&＃xff0c;允许我们以更好的性能和更快的速度对接入的数据进行处理&＃xff0c;对数据源端的实时处理支持比较友好。对于批处理和图计算&＃xff0c;图挖掘算法&＃xff08;机器学习模型&＃xff09;绝大多数都是离线计算与分析。Spark的功能要更加的完善&＃xff0c;AbutionGraph是图数据库&＃xff0c;而Spark具有知名的图计算框架GraphX&＃xff0c;以及第三方图计算框架GraphFrames&＃xff0c;这在Flink中是还不具有或是实验性的功能。与Spark的无缝衔接&＃xff0c;不仅可以满足存储与大规模计算的分离&＃xff0c;也可以让我们的Spark工程师很方便的操作Abution图数据&＃xff0c;中间的数据格式转换都交给Abution&＃xff0c;让用户只需关注业务的实现。使用Spark的另外一点优势&＃xff0c;我们可以在GraphX上开发很多图计算算法&＃xff08;如&＃xff1a;社区划分、网络分层、分类和聚类等等&＃xff09;&＃xff0c;Abution已具有一个13大类70种图挖掘算法的平台&＃xff0c;并且扩展了Spark的云服务&＃xff0c;实现模型一键上传更新与调用&＃xff0c;这部分内容较多&＃xff0c;将在另一篇文章中介绍。

简而言之&＃xff0c;Spark与Flink各具优势&＃xff0c;还没有谁可以一统流批计算的天下。对于我们今天要介绍的&＃xff0c;是Flink的强项&＃xff0c;实时数据流处理&＃xff0c;虽然结合Spark也可以实现&＃xff0c;但是没有Flink友好&＃xff0c;多一种方式就是为Abution的用户提供多一种选择&＃xff0c;所以我们选择了拥抱大数据时代的趋势。Flink优势如&＃xff1a;高容错的计算状态管理、支持事件时间&＃xff08;Event Time&＃xff09;的概念、同时支持高吞吐,低延迟,高性能的分布式流式数据处理框架&＃xff0c;这三方面优势结合AbutionGraph的多维、时序和动态的特有功能&＃xff0c;使得我们可以构建一个更加强大的实时流式动态的数据仓库。

传统Flink&＃43;Druid/ES/HBase构建的实时数仓

采用Kafka&＃43;Flink&＃43;Druid/ES/Hbase构建实时数仓可能是过去一年看到非常主流的实时数仓建设方案了&＃xff0c;端到端的实时流处理&＃xff0c;一端是采集到的原始数据&＃xff08;Kafka&＃xff09;&＃xff0c;另一端是报表/标签/接口这些对数据的呈现与应用&＃xff08;Druid/ES/Hbase&＃xff09;&＃xff0c;连接两端的是中间实时流&＃xff08;Flink&＃xff09;。更优化的端到端&＃xff0c;源表是Kafka&＃xff0c;目标表也是Kafka&＃xff0c;统一经过Kafka后再导入到HBase。下图来自Flink推文&＃xff1a;

1&＃xff09;首先说说中间过程的实时流处理Flink&＃xff0c;第一阶段&＃xff08;ETL&＃xff09;是从各种数据源读取数据到Flink统一处理&＃xff1b;第二阶段&＃xff08;流式汇总&＃xff09;是整个数仓体系的核心&＃xff0c;负责对留存于Flink中的所有数据执行汇总&＃xff0c;并定时输出到数据库端持久化。那么问题来了&＃xff0c;流式汇总的数据量可能很大&＃xff0c;如以天为粒度&＃xff0c;那么就需要足够强大的服务器资源&＃xff08;内存和CPU&＃xff09;来存储计算这一天的所有数据&＃xff0c;否则数据不全还需要从数据库中再拉取补全来合并实时流再计算&＃xff0c;新拉取的数据是继续保存在内存呢&＃xff1f;还是每次需要都重新拉取&＃xff1f;若经常或每秒就需要拉取很多次可能会同时降低数据库和Flink的性能。

2&＃xff09;再说说末端的存储&＃xff0c;经过Flink产出的数据一般是计算好了的&＃xff0c;经过Kafka把计算好的结果持久化到Hbase/MySQL&＃xff0c;供上层应用和下游服务查询结果直接使用。比如&＃xff1a;在Flink中实时计算今日每个银行卡号的总交易次数和总交易额&＃xff08;银行每日活跃账户数不定&＃xff09;&＃xff0c;之后写入到Hbase/Druid。那么问题来了&＃xff0c;这T&＃43;1天的延迟如何解决&＃xff1f;虽然Druid支持聚合查询&＃xff0c;Hbase可以查询明细&＃xff0c;那么数据重新关联计算是不是需要分别从Druid和Hbase中抽取对应的数据到Flink实时流再计算一遍新的结果&＃xff1f;然后再将结果更新到Hbase/Druid&＃xff0c;供下游应用使用。这些延迟虽然没有T&＃43;1天大&＃xff0c;但也很难是秒响应吧。

3&＃xff09;最后说说整体架构体系&＃xff0c;涉及的技术很多&＃xff0c;每种业务分类都有各自的数据库&＃xff0c;报表分析&＃xff08;Druid/MySql&＃xff09;、用户画像&＃xff08;ES&＃xff09;、接口服务&＃xff08;Redis/Hbase&＃xff09;,如果各自业务独立&＃xff0c;这样的架构没有问题&＃xff0c;若各个业务交叉&＃xff0c;如用户画像肯定离不开用户行为的分析&＃xff08;一般是报表指标&＃xff09;&＃xff0c;也就是ES与Druid的Join&＃xff0c;那么查询计算的业务实现就会变得很复杂。况且&＃xff0c;所有的业务库都是使用的一个数据源&＃xff0c;都是从一个Kafka的原始表来&＃xff0c;很多业务库的拆分导致Flink端变得很复杂&＃xff0c;需要管理各种数据库的各种表数据ETL&＃xff0c;数据的状态监控与更新或许会让人头疼。企业需要一个很大的研发团队来维持它的更新与运维&＃xff0c;也需要有能力为继如此规模的计算资源&＃xff0c;我相信有很多中小型企业是没办法做到的。

Flink&＃43;AbutionGraph构建的简洁轻量实时数仓

从架构上可以看到&＃xff0c;AbutionGraph合并了输出存储端&＃xff0c;这是因为Abution中同时具有多种数据库的建模方式&＃xff0c;可以在一个数据库中实现所有存储模型&＃xff0c;实时汇总表&＃xff08;聚合模型-代替Druid的报表分析&＃xff0c;且是多维度的&＃xff09;、历史明细表&＃xff08;静态模型-代替Hbase/MySQL&＃xff0c;存储历史明细&＃xff09;、知识图谱表&＃xff08;图模型&＃xff0c;天生的用户画像模型&＃xff0c;代替ES的搜索-关联实时汇总表与历史明细表&＃xff09;。

现在&＃xff0c;我们有了一个很简洁的系统架构来实现之前的业务&＃xff0c;这是一个真正一步到位的端到端实时数据流处理&＃xff0c;一端是采集到的原始数据&＃xff08;Kafka&＃xff09;&＃xff0c;另一端是报表/标签/接口这些对数据的呈现与应用&＃xff08;AbutionGraph&＃xff09;&＃xff0c;中间只有一个Flink平台&＃xff0c;用来实现简单的数据ETL。细心的你可能发现了&＃xff0c;另一个Flink平台&＃xff08;流式汇总&＃xff09;没有了&＃xff0c;因为对接了Abution&＃xff0c;Abution是一款具有预计算技术的数据仓库&＃xff0c;所以这部分功能可以在Abution中自动完成&＃xff0c;省去了中间与另一个Flink&＃43;Kafka的集群对接工作&＃xff0c;计算成本得以降低&＃xff0c;时效性也会大幅度提升。对于末端的应用&＃xff0c;AbutionGraph是图数据库&＃xff0c;用户画像的更友好支持已不需要再介绍&＃xff1b;Abution的OLAP特性可以很好的支撑报表分析和即席查询应用&＃xff0c;可以保障大多数的查询都能在1秒内返回&＃xff0c;这对比使用Flink的“流式汇总”步骤优势在于&＃xff0c;可以查询和管理全量数据&＃xff0c;而不是内存中的少量数据&＃xff1b;Abution具有图数据中台&＃xff0c;具有所有的数据库查询接口&＃xff0c;也可以很方便的扩展业务接口服务&＃xff0c;同时也是一个无需管理维护的分布式key-value内存数据库&＃xff0c;可以应用到集群的剩余内存提供分布式内存和计算服务。

可以看到&＃xff0c;使用Flink&＃43;AbutionGraph构建的实时数仓&＃xff0c;不仅功能一个没落下&＃xff0c;也更简洁轻量&＃xff0c;可以让更多的中小型企业低成本使用上实时数仓在自己的项目场景中。

AbutionGraph和Flink的联系

AbutionGraph最开始接入的Flink是1.7&＃xff0c;在Flink-1.9做了全面的稳定性测试和优化&＃xff0c;显然&＃xff0c;AbutionGraph和Flink都很年轻&＃xff0c;都处于高速发展期&＃xff0c;因其都属于流式技术&＃xff0c;且都属于Hadoop生态中的一员&＃xff0c;Flink是实时的流式计算引擎&＃xff0c;而AbutionGraph则是实时的数据仓库&＃xff0c;天生的上下游互补关系&＃xff0c;使得Abution团队一直在跟进Flink的进展和实现Flink的无缝对接&＃xff0c;来提升AbutionGraph的技术竞争力。

在功能使用上&＃xff0c;Abution使用Flink的多数据源接入&＃xff0c;可以轻松的对接Kafka、RocketMQ、Socket、HDFS、MySQL等等外部数据源&＃xff0c;实现企业数据生态的完美结合&＃xff0c;也很轻易的迁移老系统&＃xff0c;与新系统整合。因为AbutionGraph本身就是一款实时数据仓库产品了&＃xff0c;所以Abution和Flink具有一定的功能重叠&＃xff0c;首先体现在数据的聚合上&＃xff0c;Abution具有数据预聚合功能&＃xff0c;并且粒度自由定义&＃xff0c;这与Flink的groupBy实现类似。

不同的是&＃xff0c;Flink是内存计算&＃xff0c;管理的数据量受限于集群内存资源&＃xff0c;只能管理一部分实时数据&＃xff1b;而Abution是数据库&＃xff0c;内存计算只会涉及到少量数据的合并更新&＃xff0c;并且是持久化的&＃xff0c;可以管理历史的&＃43;实时的全部数据。Abution不用关心数据的聚合情况&＃xff0c;它是构建graph时的schema中定义的&＃xff0c;只需要告知Abution在属性字段上应用的聚合函数即可&＃xff0c;如Max、Min、Last、TopN、DistincCount等等&＃xff0c;当数据从Flink端&＃xff08;Kafka/Mq等&＃xff09;流入Abution&＃xff0c;Abution即第一时间完成聚合更新&＃xff0c;计算资源的占用稳定&＃xff0c;抖动很小&＃xff1b;

另外&＃xff0c;与上一点不同类似&＃xff0c;在ETL的数据转换上&＃xff0c;Abution是直接接入Kafka/Mq数据流的&＃xff0c;可能并不需要在Flink上编写任何代码我们就可以完成数据的写入&＃xff0c;然后计算交给Abution自动完成。Flink的优点之一是具有灵活丰富的数据处理函数&＃xff0c;这些丰富的处理函数无疑需要熟练Flink的工程师才可以操作&＃xff0c;有一定的上手门槛。而Abution的用户未必具有资深的Flink知识&＃xff0c;甚至于是Flink小白&＃xff0c;这样同时也增加了Abution的使用门槛。在大多数情况下&＃xff0c;Abution实现业务场景并不需要复杂的操作&＃xff0c;仅仅是做简单的数据清洗入库即可&＃xff0c;这么简单的行为就不必让开发者专门去写几行复杂的Flink代码了&＃xff0c;且不方便维护和管理&＃xff0c;Abution简化了这些步骤&＃xff0c;所有的ETL数据转换都可以使用一个普通的Java/Scala函数来代替&＃xff0c;这个数据处理函数您可以仅仅使用简单的编程语义就可以完成将您的外部数据转化为Abution图数据并写入&＃xff0c;执行代码时&＃xff0c;Abution会将这部分操作并行到Flink下执行&＃xff0c;这样一来&＃xff0c;您的开发工作不必关心Flink的事情&＃xff0c;甚至于一点Flink知识都没有就可以使用到Flink的引擎&＃xff0c;这将大大的减少学习和开发成本。另外的好处是&＃xff0c;您可以不用修改任何Abution的代码就可以脱离Flink&＃xff0c;实现代码重用。

而对于Flink的资深工程师&＃xff0c;您就可以随意的发挥了&＃xff0c;没有强绑定的使用规则&＃xff0c;一切以优化的业务实现为主&＃xff0c;您还可以使用Flink的计算能力提前聚合一些图数据&＃xff0c;减轻Abution的IO&＃xff0c;提高写入和查询效率&＃xff0c;特别是在物联网传感器监控场景&＃xff08;包括电网能源场景&＃xff09;&＃xff0c;由于数据更新太快&＃xff08;一秒内更新几次&＃xff09;&＃xff0c;那么您就可以采用这种内存的计算方式&＃xff0c;实时监控后再落地给Abution做后续的操作&＃xff0c;AbutionGrapha的图数据可以脱离数据库实现聚合&＃xff0c;或者是在Flink中实现聚合&＃xff0c;可以有效减少数据写入量&＃xff0c;相关功能的功能都已备好&＃xff0c;可以方便的使用。

大数据实时数据流式处理技术Flink进展

在2020的尾声&＃xff0c;Apache Flink 1.12.0 版本正式发布。这版本极大地提高了 Flink 的可用性&＃xff0c;并且简化&＃xff08;且统一&＃xff09;了 Flink 的整个 API 栈。其中一些比较重要的修改包括&＃xff1a;

• 在 DataStream API 上添加了高效的批执行模式的支持。这是批处理和流处理实现真正统一的运行时的一个重要里程碑。
• 扩展了 Kafka SQL connector&＃xff0c;使其可以在 upsert 模式下工作&＃xff0c;并且支持在 SQL DDL 中处理 connector 的 metadata。现在&＃xff0c;时态表 Join 可以完全用 SQL 来表示&＃xff0c;不再依赖于 Table API 了。
• PyFlink 中添加了对于 DataStream API 的支持&＃xff0c;将 PyFlink 扩展到了更复杂的场景&＃xff0c;比如需要对状态或者定时器 timer 进行细粒度控制的场景。除此之外&＃xff0c;现在原生支持将 PyFlink 作业部署到 Kubernetes上。

一些功能的改变&＃xff1a;

• Flink-1.12版本不再支持Kafka010&＃xff0c;AbutionGraph也在2.6版本中删除了对Kafka010和Kafka011的支持&＃xff0c;因为它们已经过于老旧&＃xff0c;官方的介绍是在新版的Kafka中具有向后兼容的特性&＃xff1b;

目前&＃xff0c;AbutionGraph中使用的是2021年的最新版本&＃xff0c;且可以向低版本兼容&＃xff08;因为我们没有复杂的依赖&＃xff09;&＃xff0c;亦可向之后的Flink版本兼容。

AbutionGraph对Flink的优化

Flink是一个流式框架&＃xff0c;与Spark的微批次不同&＃xff0c;它的数据是源源不断的一条一条的&＃xff0c;若将Flink中的数据写入Abution&＃xff0c;则每条数据都会提交一次写入操作&＃xff0c;并将该条数据写到数据库中&＃xff0c;且Flink所提供的扩展接口中也是一条一条的数据迭代&＃xff0c;这么做显然非常低效&＃xff0c;也远远不可能到达Abution的IO瓶颈。

鉴于此&＃xff0c;我们对Flink端的输出进行了改造&＃xff0c;把单条的输出更改为批量的流式输出&＃xff0c;加大Abution的吞吐量&＃xff08;Abution具有很好的并行性&＃xff0c;在服务器资源允许的情况下&＃xff0c;能承受的住大规模的实时写入而不会出现运行故障&＃xff0c;假设输出端是MySQL&＃xff0c;那肯定很难驾驭得了Flink&＃xff09;。要想Abution-Flink-Connection的写入不是一条一条的&＃xff0c;就需要一个容器来存储一条一条的数据&＃xff0c;使其组装成流批。所以&＃xff0c;在AbutionGraph中加入了流缓冲&＃xff0c;默认缓冲区大小为100w条图数据&＃xff08;理论上可以使Abution每次提交时&＃xff0c;同一时间入库100w条图数据&＃xff09;&＃xff0c;若超过此值将阻塞等待Abution写入程序空闲&＃xff0c;好处是可以避免数据丢失和OOM&＃xff0c;改变缓冲区大小的参数是abution.flink.config.max-queue-size&＃xff0c;您可以在写入开始前修改它为集群资源的性能最佳值。

我们将在线流改成了在线流批&＃xff0c;那么就有疑问了&＃xff0c;假设数据量没达到100w&＃xff0c;是不是永远都不会将缓冲中的数据写入Abution。答案肯定是否定的&＃xff0c;Abution会不定时的刷新缓存空间&＃xff08;取决于正在写入的状态&＃xff09;&＃xff0c;当数据量很小&＃xff0c;甚至只有一条&＃xff0c;Abution也可以立即添加此数据&＃xff0c;而不是阻塞并等待满一批再写入。

经过Flink数据流的流批改造后&＃xff0c;AbutionGraph从Flink端接入的写入性能得到了几个数量级的提升&＃xff0c;从此再也不害怕突然的数据暴增带来的IO节点崩溃。&＃xff08;与图无关&＃xff09;

使用Flink写入AbutionGraph的性能

我们在一台16G4H&＃xff08;不够AbutionGraph每个进程分一个核&＃xff0c;存在多个数据库进程共同使用一个核的情况&＃xff09;的低配阿里云服务器上进行写入测试&＃xff0c;即可以达到23w/s实体与关系的峰值写入&＃xff0c;并且各个组件都运行良好。

AbutionGraph还具有很好的线性扩展能力&＃xff0c;增加节点和资源就可以实现水平扩容&＃xff0c;增加客户端或者提高并行度就可以提高读写性能&＃xff0c;更多的读写性能基准测试报告可以查看AbutionGraph的官网资料。

总结和展望

在本文中&＃xff0c;我们介绍了如何使用Flink为AbutionGraph增强流批一体的实时写入能力&＃xff0c;同时也为构建更强大的在线流应用打下了坚实基础&＃xff0c;是您降本增效的选择之一。

流和批是数据集成的两种应用形态&＃xff0c;在我们的场景中&＃xff0c;从Flink流入Abution的数据可能不是是最源头&＃xff0c;从Flink之前的Kafka接入才是最源头&＃xff0c;在Kafka端&＃xff0c;我们也可以针对业务需要做一些控制&＃xff0c;比如分布式事务&＃xff0c;因为AbutionGraph是OLAP数据库&＃xff0c;天生对事务支持不友好&＃xff0c;好在如今的分布式事务解决方案已经很成熟&＃xff0c;且也有了很多种方式可选&＃xff0c;使得我们可以不必在OLAP里做事务&＃xff0c;因为很多场景只是分析&＃xff0c;并不需要数据回滚&＃xff0c;那么OLAP场景的性能可以始终维持在一个很高的水平&＃xff0c;等到我们真正需要到数据回滚等功能了&＃xff0c;也可以很方便的通过第三方工具集成进来&＃xff0c;如Kafka的CDC&＃xff08;捕获数据变化&＃xff09;平台Debezium就可以轻易的实现这件事&＃xff0c;并且是在数据的最源头就做了这件事&＃xff0c;灵活性和可控制性也更强&＃xff0c;而不需要在Abution数据库中做拉低吞吐量。此外&＃xff0c;Flink也正在致力于摆脱Kafka的功能约束&＃xff0c;在内部实现CDC功能&＃xff0c;相信在不久的将来我们可以更加便捷高效的在Flink中就实现这类需求。

AbutionGraph来自北京图特摩斯科技团队&＃xff0c;www.thutmose.cn

交流与探索知识图谱技术请加QQ群&＃xff1a;529757057

如果你对我们在做的事情感兴趣&＃xff0c;欢迎加入我们&＃xff01;