热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

云原生_你要的调度云原生能力来了

本文由编程笔记#小编为大家整理,主要介绍了你要的调度云原生能力来了相关的知识,希望对你有一定的参考价值。
本文由编程笔记#小编为大家整理,主要介绍了你要的调度云原生能力来了相关的知识,希望对你有一定的参考价值。


数据中台是当今大数据领域最火的一个概念,各个公司也竞相建设企业自己的大数据中台,而在这样的背景下,数据任务调度作为其中最核心的一个基础设施可谓十分重要。一个好的调度系统既可以负载传统数据仓库的任务处理流程,又可以承载实时流处理,甚至一些数据挖掘流程处理都可以调度上实现,大大减少业务开发难度,实现业务解耦合。调度系统周边还有元数据管理、数据质量稽核、数据血缘关系等等设施与之配合,调度生态系统的完善度对数据中台建设成功与否举足轻重。


开源的Apache DolphinScheduler(原EasyScheduler)自2017年在易观公司立项之初,就带着致力于“数据能力平民化”的使命。其实在开发EasyScheduler之前,易观已经调研过市面上主流的开源调度系统(网上有相关的调度系统对比介绍)。在开源之后,怎么使得调度更加易用一直是社区思考的问题,天生注重分布式、高可用的一个系统在部署上就比较费劲,开源也已经1年多了,社区一直持续的在做各种尝试,最近仍然在考虑和实现简化配置,减少新手上手难度,相信这个工作也一直会进行,直到一个懂一点点技术的小伙伴可以在10分钟内部署一套分布式集群为止。


进入Apache孵化后,社区力量得以更多的发挥,DolphinScheduler从开源前的几个coding小伙已经成长为目前的近200位社区贡献者,贡献范围涵盖提交代码、写文档/文章、发issue/邮件、社区答疑等,也已经有数百家公司在使用DolphinScheduler,并且明显的有越多的小伙伴在加入到社区贡献队伍我想“ 21世纪重要的是什么 - 人才这句话在技术开源领域换成21世纪重要的是什么 - 社区“更合适。相信大家已经注意到了,近2年开源社区在技术创新领域蓬勃发展,尤其是在国内本土发展的非常快。越来越多的项目选择开源,而开源的核心要素是发展社区。DolphinScheduler是非常重视社区的一个Apache项目,早在设计架构和功能时就邀请了国内近60位调度圈的大神做指导,开源前还花了2个月时间邀请过十几家公司作为内部种子用户进行评测,又经过重构后才正式对外开源。可以说自始至今DolphinScheduler的巨大发展从来没有离开过社区伙伴们的鼎力贡献。<此段给想做项目开源的伙伴当一个参考>


回归正题,社区伙伴木子近期又为DolphinScheduler带来了云原生能力,给大家透露一下木子同学在阿里云上 k8s 一键部署小视频:


云原生能力的支持将为简化部署夯实坚定的一步,经过一段时间测试后,将正式在新版本中发布,当然也欢迎大家尝鲜,一起来测试,社区嘛







推荐阅读
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • Mario Peshev,自1999年起从事编程工作,现任DevriX首席执行官。本文最初发布于Quora,探讨了计算机技术与编程语言的区别及其对软件开发的影响。 ... [详细]
  • 成为一名高效的Java架构师不仅需要掌握高级Java编程技巧,还需深入理解JVM的工作原理及其优化方法。此外,对池技术(包括对象池、连接池和线程池)的应用、多线程处理、集合对象的内部机制、以及常用的数据结构和算法的精通也是必不可少的。同时,熟悉Linux操作系统、TCP/IP协议栈、HTTP协议等基础知识,对于构建高效稳定的系统同样重要。 ... [详细]
  • 酷家乐 Serverless FaaS 产品实践探索
    本文探讨了酷家乐在 Serverless FaaS 领域的实践与经验,重点介绍了 FaaS 平台的构建、业务收益及未来发展方向。 ... [详细]
  • RabbitMQ 核心组件解析
    本文详细介绍了RabbitMQ的核心概念,包括其基本原理、应用场景及关键组件,如消息、生产者、消费者、信道、交换机、路由键和虚拟主机等。 ... [详细]
  • 初探Hadoop:第一章概览
    本文深入探讨了《Hadoop》第一章的内容,重点介绍了Hadoop的基本概念及其如何解决大数据处理中的关键挑战。 ... [详细]
  • Java虚拟机及其发展历程
    Java虚拟机(JVM)是每个Java开发者日常工作中不可或缺的一部分,但其背后的运作机制却往往显得神秘莫测。本文将探讨Java及其虚拟机的发展历程,帮助读者深入了解这一关键技术。 ... [详细]
  • 一家位于长沙的知名网络安全企业,现面向全国诚聘高级后端开发工程师,特别欢迎具有一线城市经验的技术精英回归故乡,共创辉煌。 ... [详细]
  • 从理想主义者的内心深处萌发的技术信仰,推动了云原生技术在全球范围内的快速发展。本文将带你深入了解阿里巴巴在开源领域的贡献与成就。 ... [详细]
  • 深入理解云计算与大数据技术
    本文详细探讨了云计算与大数据技术的关键知识点,包括大数据处理平台、社会网络大数据、城市大数据、工业大数据、教育大数据、数据开放与共享的应用,以及搜索引擎与Web挖掘、推荐技术的研究及应用。文章还涵盖了云计算的基础概念、特点和服务类型分类。 ... [详细]
  • 业务团队与独立团队在数据分析领域的效能对比:谁更胜一筹?
    业务团队与独立团队在数据分析领域的效能对比:谁更胜一筹? ... [详细]
  • 本文详细分析了一个生产系统中遇到的 Apache Axis2 403 Forbidden 错误,并提供了具体的排查步骤和解决方案。 ... [详细]
  • 2023年PHP处理请求超时的全面指南
    本文详细介绍了在PHP中处理请求超时的各种方法,包括设置脚本执行时间、处理file_get_contents函数超时以及优化AJAX请求等,适合开发者参考学习。 ... [详细]
  • 本文详细介绍了如何在Ubuntu操作系统中安装和配置Maven,包括必要的环境准备和验证步骤。 ... [详细]
  • 华为云openEuler环境下的Web应用部署实践
    本文详细记录了在华为云openEuler系统上进行Web应用部署的具体步骤,包括配置yum源、安装Apache、MariaDB、PHP及其相关组件,并完成WordPress的安装与配置过程。 ... [详细]
author-avatar
手机用户2502940417_253
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有