热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

云原生_你要的调度云原生能力来了

本文由编程笔记#小编为大家整理,主要介绍了你要的调度云原生能力来了相关的知识,希望对你有一定的参考价值。
本文由编程笔记#小编为大家整理,主要介绍了你要的调度云原生能力来了相关的知识,希望对你有一定的参考价值。


数据中台是当今大数据领域最火的一个概念,各个公司也竞相建设企业自己的大数据中台,而在这样的背景下,数据任务调度作为其中最核心的一个基础设施可谓十分重要。一个好的调度系统既可以负载传统数据仓库的任务处理流程,又可以承载实时流处理,甚至一些数据挖掘流程处理都可以调度上实现,大大减少业务开发难度,实现业务解耦合。调度系统周边还有元数据管理、数据质量稽核、数据血缘关系等等设施与之配合,调度生态系统的完善度对数据中台建设成功与否举足轻重。


开源的Apache DolphinScheduler(原EasyScheduler)自2017年在易观公司立项之初,就带着致力于“数据能力平民化”的使命。其实在开发EasyScheduler之前,易观已经调研过市面上主流的开源调度系统(网上有相关的调度系统对比介绍)。在开源之后,怎么使得调度更加易用一直是社区思考的问题,天生注重分布式、高可用的一个系统在部署上就比较费劲,开源也已经1年多了,社区一直持续的在做各种尝试,最近仍然在考虑和实现简化配置,减少新手上手难度,相信这个工作也一直会进行,直到一个懂一点点技术的小伙伴可以在10分钟内部署一套分布式集群为止。


进入Apache孵化后,社区力量得以更多的发挥,DolphinScheduler从开源前的几个coding小伙已经成长为目前的近200位社区贡献者,贡献范围涵盖提交代码、写文档/文章、发issue/邮件、社区答疑等,也已经有数百家公司在使用DolphinScheduler,并且明显的有越多的小伙伴在加入到社区贡献队伍我想“ 21世纪重要的是什么 - 人才这句话在技术开源领域换成21世纪重要的是什么 - 社区“更合适。相信大家已经注意到了,近2年开源社区在技术创新领域蓬勃发展,尤其是在国内本土发展的非常快。越来越多的项目选择开源,而开源的核心要素是发展社区。DolphinScheduler是非常重视社区的一个Apache项目,早在设计架构和功能时就邀请了国内近60位调度圈的大神做指导,开源前还花了2个月时间邀请过十几家公司作为内部种子用户进行评测,又经过重构后才正式对外开源。可以说自始至今DolphinScheduler的巨大发展从来没有离开过社区伙伴们的鼎力贡献。<此段给想做项目开源的伙伴当一个参考>


回归正题,社区伙伴木子近期又为DolphinScheduler带来了云原生能力,给大家透露一下木子同学在阿里云上 k8s 一键部署小视频:


云原生能力的支持将为简化部署夯实坚定的一步,经过一段时间测试后,将正式在新版本中发布,当然也欢迎大家尝鲜,一起来测试,社区嘛







推荐阅读
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 大数据学习入门难,给初学者支招 ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
  • Sleuth+zipkin链路追踪SpringCloud微服务的解决方案
    在庞大的微服务群中,随着业务扩展,微服务个数增多,系统调用链路复杂化。Sleuth+zipkin是解决SpringCloud微服务定位和追踪的方案。通过TraceId将不同服务调用的日志串联起来,实现请求链路跟踪。通过Feign调用和Request传递TraceId,将整个调用链路的服务日志归组合并,提供定位和追踪的功能。 ... [详细]
  • PHP组合工具以及开发所需的工具
    本文介绍了PHP开发中常用的组合工具和开发所需的工具。对于数据分析软件,包括Excel、hihidata、SPSS、SAS、MARLAB、Eview以及各种BI与报表工具等。同时还介绍了PHP开发所需的PHP MySQL Apache集成环境,包括推荐的AppServ等版本。 ... [详细]
  • 本文总结了初学者在使用dubbo设计架构过程中遇到的问题,并提供了相应的解决方法。问题包括传输字节流限制、分布式事务、序列化、多点部署、zk端口冲突、服务失败请求3次机制以及启动时检查。通过解决这些问题,初学者能够更好地理解和应用dubbo设计架构。 ... [详细]
  • 云原生应用最佳开发实践之十二原则(12factor)
    目录简介一、基准代码二、依赖三、配置四、后端配置五、构建、发布、运行六、进程七、端口绑定八、并发九、易处理十、开发与线上环境等价十一、日志十二、进程管理当 ... [详细]
  • 像跟踪分布式服务调用那样跟踪Go函数调用链 | Gopher Daily (2020.12.07) ʕ◔ϖ◔ʔ
    每日一谚:“Acacheisjustamemoryleakyouhaven’tmetyet.”—Mr.RogersGo技术专栏“改善Go语⾔编程质量的50个有效实践” ... [详细]
  • [翻译]微服务设计模式5. 服务发现服务端服务发现
    服务之间需要互相调用,在单体架构中,服务之间的互相调用直接通过编程语言层面的方法调用就搞定了。在传统的分布式应用的部署中,服务地 ... [详细]
  • ZooKeeper 学习
    前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗?如果别人面试官让你给他讲讲ZooKeeper是个什么东西, ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • 一份来自清华的数据分析笔记,请查收!
    之前发过很多数据分析的文章,收到不少好评,但也有一些困惑:入门数据分析该学哪些知识点?该看哪些书?是从Pyth ... [详细]
  •   数据挖掘作为近年来新兴的一门计算机边缘学科,其在国内外引起了越来越多的关注。并且随着数据挖掘技术的不断改进和数据挖掘工具的不断完善,数据挖掘必将在各行各业中得到广泛的应用。   ... [详细]
  • 黄东旭: 关于基础软件产品价值的思考
    黄东旭:关于基础软件产品价值的思考-好久没写东西了,正好趁着春节的节后综合症发作写写文章热身一下,记得前几年偶尔会写一些关于TiDB产品功能解读的文章,TiDB5.0发了那么长时间 ... [详细]
author-avatar
手机用户2502940417_253
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有