热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

云原生_你要的调度云原生能力来了

本文由编程笔记#小编为大家整理,主要介绍了你要的调度云原生能力来了相关的知识,希望对你有一定的参考价值。
本文由编程笔记#小编为大家整理,主要介绍了你要的调度云原生能力来了相关的知识,希望对你有一定的参考价值。


数据中台是当今大数据领域最火的一个概念,各个公司也竞相建设企业自己的大数据中台,而在这样的背景下,数据任务调度作为其中最核心的一个基础设施可谓十分重要。一个好的调度系统既可以负载传统数据仓库的任务处理流程,又可以承载实时流处理,甚至一些数据挖掘流程处理都可以调度上实现,大大减少业务开发难度,实现业务解耦合。调度系统周边还有元数据管理、数据质量稽核、数据血缘关系等等设施与之配合,调度生态系统的完善度对数据中台建设成功与否举足轻重。


开源的Apache DolphinScheduler(原EasyScheduler)自2017年在易观公司立项之初,就带着致力于“数据能力平民化”的使命。其实在开发EasyScheduler之前,易观已经调研过市面上主流的开源调度系统(网上有相关的调度系统对比介绍)。在开源之后,怎么使得调度更加易用一直是社区思考的问题,天生注重分布式、高可用的一个系统在部署上就比较费劲,开源也已经1年多了,社区一直持续的在做各种尝试,最近仍然在考虑和实现简化配置,减少新手上手难度,相信这个工作也一直会进行,直到一个懂一点点技术的小伙伴可以在10分钟内部署一套分布式集群为止。


进入Apache孵化后,社区力量得以更多的发挥,DolphinScheduler从开源前的几个coding小伙已经成长为目前的近200位社区贡献者,贡献范围涵盖提交代码、写文档/文章、发issue/邮件、社区答疑等,也已经有数百家公司在使用DolphinScheduler,并且明显的有越多的小伙伴在加入到社区贡献队伍我想“ 21世纪重要的是什么 - 人才这句话在技术开源领域换成21世纪重要的是什么 - 社区“更合适。相信大家已经注意到了,近2年开源社区在技术创新领域蓬勃发展,尤其是在国内本土发展的非常快。越来越多的项目选择开源,而开源的核心要素是发展社区。DolphinScheduler是非常重视社区的一个Apache项目,早在设计架构和功能时就邀请了国内近60位调度圈的大神做指导,开源前还花了2个月时间邀请过十几家公司作为内部种子用户进行评测,又经过重构后才正式对外开源。可以说自始至今DolphinScheduler的巨大发展从来没有离开过社区伙伴们的鼎力贡献。<此段给想做项目开源的伙伴当一个参考>


回归正题,社区伙伴木子近期又为DolphinScheduler带来了云原生能力,给大家透露一下木子同学在阿里云上 k8s 一键部署小视频:


云原生能力的支持将为简化部署夯实坚定的一步,经过一段时间测试后,将正式在新版本中发布,当然也欢迎大家尝鲜,一起来测试,社区嘛







推荐阅读
  • 深入解析Hadoop的核心组件与工作原理
    本文详细介绍了Hadoop的三大核心组件:分布式文件系统HDFS、资源管理器YARN和分布式计算框架MapReduce。通过分析这些组件的工作机制,帮助读者更好地理解Hadoop的架构及其在大数据处理中的应用。 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 深入解析Spring Cloud微服务架构与分布式系统实战
    本文详细介绍了Spring Cloud在微服务架构和分布式系统中的应用,结合实际案例和最新技术,帮助读者全面掌握微服务的实现与优化。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 深入解析 Apache Shiro 安全框架架构
    本文详细介绍了 Apache Shiro,一个强大且灵活的开源安全框架。Shiro 专注于简化身份验证、授权、会话管理和加密等复杂的安全操作,使开发者能够更轻松地保护应用程序。其核心目标是提供易于使用和理解的API,同时确保高度的安全性和灵活性。 ... [详细]
  • HBase运维工具全解析
    本文深入探讨了HBase常用的运维工具,详细介绍了每种工具的功能、使用场景及操作示例。对于HBase的开发人员和运维工程师来说,这些工具是日常管理和故障排查的重要手段。 ... [详细]
  • 本文探讨了如何在日常工作中通过优化效率和深入研究核心技术,将技术和知识转化为实际收益。文章结合个人经验,分享了提高工作效率、掌握高价值技能以及选择合适工作环境的方法,帮助读者更好地实现技术变现。 ... [详细]
  • 2018年3月31日,CSDN、火星财经联合中关村区块链产业联盟等机构举办的2018区块链技术及应用峰会(BTA)核心分会场圆满举行。多位业内顶尖专家深入探讨了区块链的核心技术原理及其在实际业务中的应用。 ... [详细]
  • 本文作者分享了在阿里巴巴获得实习offer的经历,包括五轮面试的详细内容和经验总结。其中四轮为技术面试,一轮为HR面试,涵盖了大量的Java技术和项目实践经验。 ... [详细]
  • Netflix利用Druid实现高效实时数据分析
    本文探讨了全球领先的在线娱乐公司Netflix如何通过采用Apache Druid,实现了高效的数据采集、处理和实时分析,从而显著提升了用户体验和业务决策的准确性。文章详细介绍了Netflix在系统架构、数据摄取、管理和查询方面的实践,并展示了Druid在大规模数据处理中的卓越性能。 ... [详细]
  • 深入解析Serverless架构模式
    本文将详细介绍Serverless架构模式的核心概念、工作原理及其优势。通过对比传统架构,探讨Serverless如何简化应用开发与运维流程,并介绍当前主流的Serverless平台。 ... [详细]
  • Struts与Spring框架的集成指南
    本文详细介绍了如何将Struts和Spring两个流行的Java Web开发框架进行整合,涵盖从环境配置到代码实现的具体步骤。 ... [详细]
  • 智能全栈云风暴:AI引领的企业转型之路
    当提及AI,人们脑海中常浮现的是天才少年独自编写算法,瞬间点亮机器人的双眼。然而,真正的AI革命正由大型企业和机构推动,它们利用全栈全场景AI技术,实现数字化与智能化的深度转型。 ... [详细]
  • 探索Python编程的价值与应用
    本文探讨了学习Python的重要性和广泛的应用场景,从个人技能提升到职业发展的多个方面进行了详细解析。 ... [详细]
  • 数据集成策略:ETL与ELT架构对比及工具选择
    随着企业信息化的深入发展,‘数据孤岛’问题日益突出,阻碍了数据的有效利用与整合。本文探讨了如何通过构建数据仓库解决这一问题,重点分析了ETL与ELT两种数据处理架构的特点及适用场景,为企业选择合适的ETL工具提供了指导。 ... [详细]
author-avatar
手机用户2502940417_253
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有