海豚调度5月Meetup：6个月重构大数据平台，帮你避开调度升级改造/集群迁移踩过的坑

当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况，团队在技术选型之后发现并不适合自己的需求，但是迁移成本和难度又比较大，甚至前团队还留下了不少坑，企业自有的开发能力又比较有限，导致后面的小伙伴上手难度高体验差。

俗话说“工具选得好，下班回家早；调度用得对，半夜安心睡”，面对各种难点和痛点：

• 如何有效地评估数据调度工具？

  
  



• 如何平滑的过渡到Apache DolphinScheduler？

  
  



• 如何稳定高效的对已有的工具升级改造？

  
  

这几个问题是改善现有状况的重中之重，是保障企业和团队数据调度任务高效运行的引擎。

不论你是处在什么企业，如果你正为数据调度工具的选型或迁移而苦恼；缺乏任务可视化编辑界面、补数和重试等必要功能；甚至连监控和管理功能都没有；

这就说明，你是时候来参加本期Meetup活动啦 ！

2022年5月28日，Apache DolphinScheduler 社区邀请了来自当贝科技、Fordeal、JuiceFS社区等企业的资深大数据工程师与开发者，分享他们在技术选型、平台迁移、场景探索、优化与改造 Apache DolphinScheduler 过程中遭遇的问题与挑战。

除此之外，我们还特别邀请到了JuiceFS社区技术专家，跟大家延伸探讨关于设计云文件系统和日志归档场景中Apache DolphinScheduler的实践。无论你是Apache DolphinScheduler的开发工程师还是个人爱好者，来到本次Meetup，你一定能听到一手的分享，得到一手的收获！

Apache DolphinScheduler作为新一代的大数据任务调度系统，致力于让调度变得更加容易。身为一款专门针对于大数据平台的工作调度系统，具有本土化风格和多样化的部署方式。

Apache DolphinScheduler Meetup | 5 月线上直播报名通道已开启，赶快预约吧！

时间：2022-5-28 14:00-16:10

形式：线上直播

点击原文链接或扫码预约报名（免费）： https://zhibo.51cto.com/liveDetail/126

扫码预约报名

扫码添加群聊

王昱翔 当贝大数据平台基础开发工程师

毕业于电子科技大学，主要是做大数据平台的构建、集成及组件的运维的工作

演讲时间：14:00-14:40

演讲题目：Apache DolphinScheduler在当贝大数据环境中的应用

演讲概要：之前当贝的大数据平台用的是Hadoop和CDH混合产物 ，调度用的是Oozie，主要问题是缺少补数和重试机制没有，导致用户上手难体验差，还存在hadoop集群部署混乱和clickhouse混合部署等问题，经过调研后，现在主要用Apache DolphinScheduler解决迁移集群、大数据平台重构、数据迁移、调度告警等问题！

卢栋    Fordeal 大数据开发工程师

5年的数据开发相关经验，目前就职于Fordeal

主要关注的数据技术方向包括：湖仓一体、MPP数据库、数据可视化等

演讲时间：14:40-15:30

演讲题目：数据平台调度升级改造，从Azkaban平滑过渡到Apache DolphinScheduler

演讲概要：Fordeal数据平台调度系统之前是基于Azkaban进行二次开发的，用户层面的问题是缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。技术层面的问题是架构过时持续迭代难度大。经过调研后，新版系统决定基于DolphinScheduler进行升级改造。整个迁移过程中面临最大的问题是如何让使用方平滑过渡到新系统，为了平滑迁移做了哪些升级改造？

15:30-15:35 填写问卷抽奖环节

苏锐Juicedata 合伙人

毕业于西安电子科技大学。在北航攻读硕士期间，作为早期工程师先后在傲游（Maxthon）浏览器、豆瓣任职。2014 年创立上门汽车服务品牌功夫洗车，并任 CEO 带领团队完成两轮融资。2017 年加入 Juicedata 开始新一次创业之旅，公司旗下的核心产品 JuiceFS 是一款面向云环境设计的分布式文件系统，以创新的设计定义了云时代文件存储的架构，服务数字化时代对海量数据、海量文件的存储与计算需求，已落地近百家领先科技企业。

演讲时间：15:35-16:05

演讲题目：设计云文件系统和日志归档场景中DolphinScheduler的实践

演讲概要：介绍什么是云文件系统；介绍设计架构与设计中的思考；如果用云文件系统做日志归档，分享在Nginx和Apache DolphinScheduler中的实践

欢迎大家参与5月28日Apache DolphinScheduler的线上交流会，下午14:00，我们不见不散！