大数据_ApacheDolphinScheduler征稿大数据神器来了

今天在刷CSDN时偶然看到一个有关 Apache DolphinScheduler的征文活动&＃xff0c;在初步了解了相关情况之后&＃xff0c;我发现 Apache DolphinScheduler就是那个大数据任务调度平台EasyScheduler的前身&＃xff0c;这引起了我很大的兴趣&＃xff0c;深入调研一番以后&＃xff0c;我认为Apache DolphinScheduler虽然目前知名度不高&＃xff0c;但是其发展潜力却是不容忽视的&＃xff0c;未来继续发展将为大数据的从业人员们解决不少痛点&＃xff0c;因此决定参加这个征稿活动&＃xff0c;向大家科普一下Apache DolphinScheduler的情况。

大数据-越来越大也越来越难管

业界对于大数据概念其实还没有一个统一的定义&＃xff0c;到底什么规模的数据算是大数据似乎是一个不断变化的动态概念&＃xff0c;我们看到比如IDC就直接把大数据的定义为现有技术难以处理的数据&＃xff0c;这样的定义虽然看似回避了对于具体规模的表述却也相当聪明。从历史经验来看最新的技术往往就是因为数据处理需求不断升级而催生迭代出来的&＃xff0c;比如在谷歌提出大数据三驾马车的论文时&＃xff0c;当时像Oracle之类的主流数据库技术根本处理不了谷歌所要存存储的搜索数据&＃xff0c;现在的数仓也很难挖掘出数据湖中的宝藏。

目前诸多行业都将数字化转型的任务提上了日程&＃xff0c;系统上云也是如火如荼&＃xff0c;在这样的大背景下未来大数据的量级肯定还会不断创出新高&＃xff0c;比如在上周阿里云的峰会上&＃xff0c;Caffe之父贾扬清就指出阿里存储的数据量级正在以年化80%左右的速度增长&＃xff0c;不过这样的数据增长速度&＃xff0c;却成为大数据工程师的甜蜜负担&＃xff0c;传统数据库与数仓用到数据湖三套体系的兼容性很差&＃xff0c;能让他们整体协同工作运转就非常不易了&＃xff0c;想提高效率真是难比上青天。

从我所在金融行业的情况看&＃xff0c;现在的数据分析流程已经太长了&＃xff0c;以金融数据为例&＃xff0c;分析数据在交易核心的OLTP数据库中跑批处理&＃xff0c;再ODS抽取ETL分析到数仓&＃xff0c;再进一步训练流式计算&＃xff0c;最后再入湖&＃xff0c;其时效最快也是T&＃43;1日&＃xff0c;如果还回答不出更细节、隐含的问题&＃xff0c;比如非线性问题&＃xff0c;还要把数据复制到SAS中做机器学习&＃xff0c;再做统计的指标体系&＃xff0c;去做进一步挖掘。数据要在这里搬动三次&＃xff0c;复制三份冗余&＃xff0c;还要管理数据一致性&＃xff0c;每天数据中心运维的大量工作在做数据搬家。可以说目前各种大数据任务还能够正常运行真是堪称奇迹&＃xff0c;即使是运行异常了大部分情况下唯一的应对方案也就是重启&＃xff0c;重启解决不了就延时重启&＃xff0c;具体的异常原因已经很难去分析了。

 Apache DolphinScheduler的杀手锏-简单易用

为了解决任务调度的问题&＃xff0c;我们之前也尝试过几种其它的方案比如Quartz&＃xff0c;但是Quartz虽然是Java的定时任务标准&＃xff0c;但它针对的是定时任务而不是数据流&＃xff0c;根据数据流处理去定制化流程的工作量很大。而且Quartz最大的问题是其ACID特性保证&＃xff0c;完全是基于数据库实现的&＃xff0c;不同节点之间是通过数据库表来感知状态的&＃xff0c;如果某一个节点失效&＃xff0c;那么Job执行的原子性是很难保证的&＃xff0c;缺少分布式并行调度的功能。

当然后来的Airflow可能会比Quartz更好一点&＃xff0c;但是Airflow的问题是可视化程度较低&＃xff0c;流程及任务必须通过Python代码定义&＃xff0c;如果一家机构拥有海量数据流程那么代码定义流程的方式维护起来简直是个噩梦&＃xff0c;而且从我们实测的情况看&＃xff0c;Airflow的可靠性一般&＃xff0c;常出现卡死现象&＃xff0c;当然这个也许是我们使用或者配置的问题&＃xff0c;不是最终的结论。

对比之后&＃xff0c;笔者觉得 Apache DolphinScheduler还是最舒服的&＃xff0c;按照官网的说法Apache DolphinScheduler是一个分布式去中心化&＃xff0c;易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系&＃xff0c;使调度系统在数据处理流程中开箱即用。

而笔者认为分布式与可视化DAG工作流&＃xff0c;分别针对了Airflow和Quartz的痛点&＃xff0c;而且从不少大牛的实测反馈看Apache DolphinScheduler的可靠性还是很强的。

正如我们前面所说一般目前的大型企业都需要把分析数据从OLTP 核心数据库中抽取到数据仓库中&＃xff0c;有的还需要从数据仓库中再同步到数据湖里&＃xff0c;个人觉得至少做这种不同类型数据库之间的传输工作&＃xff0c;完全可以让Apache DolphinScheduler来进行一下试点&＃xff0c;如果Apache DolphinScheduler真的可以全面铺开&＃xff0c;那么这对于大数据工程师来说将是巨大福音&＃xff0c;因为这是一个完全可视化的工具&＃xff0c;只要把流程定义好&＃xff0c;那么运行时的监控以及错误处理等关键环节也就自然生成了&＃xff0c;这将极大为大数据同仁们减负&＃xff01;

本文正在参与 “拥开源 — Apache DolphinScheduler 有奖征稿活动