数据湖作为一个企业级的数据管理平台,用于分析不同类型的数据源。它既可以满足实时分析的需要,也可以作为数据仓库,满足批量数据挖掘的需要。在数据湖之上,借助一个任务调度系统高效、稳定且易于扩展的协调能力来扩充数据湖的外部能力,如数据摄取、数据存储、数据探索、数据发现、数据治理等,数据用户将可以轻松地与数据湖互动,而不必关注太多的技术细节。
本次活动中,最受欢迎的云原生大数据工作流调度平台 Apache DolphinScheduler 将与最受欢迎的数据湖产品 Apache Hudi 强强联手,带来调度系统与数据湖强强联手的最佳实践,通过实践案例,解析云原生时代下,大数据处理的神奇能力。
Apache Hudi[1] 作为新一代流式数据湖平台。支持插入、更新、删除、增量读取等核心特性,目前已在国内外包括AWS、Uber、阿里巴巴、腾讯、字节跳动、华为、顺丰科技、滴滴、快手、Shopee等大公司生产落地,社区贡献者290+,以开源共建方式共同打造极致性能、易用性好的数据湖平台。
Apache DolphinScheduler[2]:一个云原生并带有强大可视化界面的大数据工作流调度平台,致力于让调度变得更加容易。截至目前已累计在 1000 多家公司生产环境中作为企业的核心调度系统,包括 IBM、腾讯、科大讯飞、美团、360、联通、顺丰等,覆盖金融、电信、零售、云计算、数据处理等广泛领域。贡献者超过 350+ 人,以开源社区的模式集合全球顶尖高科技公司的共同贡献,打造全球极致简单易用、稳定可扩展的 DataOps 平台。
本次 Meetup 邀请来自阿里巴巴、Shopee、宇动源、传智教育的技术专家,带来一线实践分享,帮助开发者更好的将 Hudi、DolphinScheduler 应用于实际业务场景。
扫描下方二维码,或点击阅读原文, 别再犹豫,立即参与活动吧!
[1]
Apache Hudi: https://hudi.apache.org/ [2]
Apache DolphinScheduler: https://dolphinscheduler.apache.org/