作者:印度神油两性a | 来源:互联网 | 2023-05-18 21:04
EasyMR是袋鼠云自研的大数据根底平台,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等组件,齐全兼容Apache开源生态;反对企业级平安管控,一键开启LDAP+Ke
7月28日,在袋鼠云2022产品发布会上,袋鼠云技术负责人思枢正式发表旗下产品「大数据根底平台EasyMR」公布。
EasyMR是袋鼠云自研的大数据根底平台,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等组件,齐全兼容Apache开源生态;反对企业级平安管控,一键开启LDAP+Kerberos+Ranger认证权限体系;提供一站式运维治理平台,帮忙企业疾速构建大数据平台,升高运维老本。
联合袋鼠云在数字化畛域多年的寸积铢累,此次全新公布的大数据根底平台EasyMR紧跟开源生态的先进技术,不仅能够帮忙客户轻松应答海量数据的采集、存储、计算、剖析开掘和数据安全等利用场景,并且对于智能运维的部署、降级、扩缩容、监控等进行全方位反对,真正做到成为企业便捷、智能、高效的“数据底座”。
六大个性打造国产大数据根底平台
不同于十年前的离奇,当初大家曾经齐全习惯本人身处于“大数据时代”这件事件,所有人都可能深切地感触到大数据对于生存带来的各种扭转和便当,数据暴发的时代推动着每个集体、企业、行业,甚至是国家往前走。
以后国际形势风云变幻,中美双边关系的割裂,国家对于信创国产化的大力支持,给国内的大数据行业带来微小冲击的同时,也带来了全新时机。
数据根底平台作为所有的根底和底座,天然成为国产代替的重中之重。只有真正领有了自主可控的平台建设能力,能力逐渐建设基于本人的 IT 底层架构和规范,造成自有凋谢生态。
EasyMR就是这样一款自主研发、齐全可控的,致力于助力企业信息化智慧转型的“企业数据底座”。
上面通过形容EasyMR的次要个性,来具体说说,EasyMR是如何帮忙企业实现智能的?
● 界面化集群运维
Hadoop集群、大数据平台在日常运维中波及到的节点扩容缩容、组件进行启动、服务滚动重启、服务参数批改、版本升级与回滚等多种运维操作,通过逻辑化、流程化的产品界面展示,不便运维人员操作和监控,进步运维效率。
● 自动化部署
EasyMR通过规范化的步骤和参数约定制作出产品安装包,公布包中的Schema文件中配置了安装包中所有的服务,蕴含各服务的配置参数、健康检查参数,服务之间的依赖关系等。产品部署时可依据Schema中的相干配置实现一键全自动化部署。
● 仪表盘集群监控
通过集成开源的Promethus和Grafana,实现对集群、服务、节点的外围参数监控,并通过灵便形象的仪表盘进行数据展示。蕴含CPU占用率,RAM使用率、磁盘空间、IO读写速率等外围参数进行监控,实时把握集群、服务、节点的运行状态,升高运维故障率。同时,反对用户自建仪表盘及监控项,实现自定义监控项。
● 实时告警
反对实时监控集群中各组件服务的运行指标,如CPU、内存、磁盘、读写IO等,并反对短信、钉钉、邮件告警通道配置,集成多种第三方音讯插件。当集群服务出现异常时,可触发告警条件,零碎将及时告诉接管人。
● 强扩展性
通过自研的Easyagent Server形象出七大REST接口,装置、启动、进行、更新、配置批改、卸载、执行等与下层利用进行交互,可使agent类别和性能可轻松有限扩大。
● 平安稳固
数据安全、产品安全是大数据产品须要重点思考的问题。EasyMR在产品设计中过滤掉rm、drop等命令行,避免对数据库的误操作,通过更加平安的形式执行相干命令。同时提供服务的滚动重启、产品的断电重启,解决运维时服务不进行运行的场景并节俭运维工夫。
丰盛的大数据组件夯实数据基座
EasyMR反对Hadoop2.8.5、Hadoop3.2.1大数据集群搭建,反对丰盛的大数据组件,用户能够依据业务须要进行组件的抉择。
那么,EasyMR具体反对那些大数据组件呢?
● Yarn
版本反对:
· Yarn 反对Hadoop 2.8.5、3.2.1
次要性能为Hadoop的资源调度器,负责管理整个Hadoop集群的资源(CPU和内存)治理和调度。
● Hdfs
版本反对:
· Hdfs 反对Hadoop 2.8.5、3.2.1
Hdfs即Hadoop 分布式文件系统,是Hadoop的三大根底组件之一,次要是解决大数据场景下数据的增、删、改、查、文件切片等性能。
● Flink
版本反对:
· Flink 1.12
面向数据流解决和批量数据处理的可分布式的开源计算框架。
● Spark
版本反对:
· Spark 2.4.8
基于内存的新一代分布式开源大数据框架,反对离线,实时计算,也反对 SQL 语法以及机器学习的解决。
EasyMR对开源组件的SQL的DDL能力进行了加强,反对Add Column语法。
● Hive
版本反对:
· Hive 2.3.8
· Hive 3.1.2
基于Hadoop的一套离线数据处理系统,在HDFS之上提供了结构化的表数据的治理能力,提供类 SQL 的查问语法进行数据分析解决。
● Trino
版本反对:
· Trino 0.359
分布式SQL查问引擎, 用来专门进行高速、实时的数据分析。
EasyMR对Trino的Connector进行了加强,反对Connector的动静加载;对社区的Connector进行了扩大,反对星环Inceptor插件。
● Hbase
版本反对:
· Hbase 1.3.5
· Hbase 2.3.4
一款高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。
● Zookeeper
版本反对:
· Zookeeper 3.6.2
分布式应用程序协调服务,分布式应用程序可基于它实现同步服务,配置保护和命名服务等,为分布式集群提供一种牢靠、可扩大、分布式、可配置的协调机制来对立零碎的状态。
一起进行一次装置部署吧
其中,简洁、易上手也是EasyMR的一大劣势。EasyMR既心愿帮忙企业实现多源数据的高效集成,全量数据的高效剖析,同时也心愿可能升高平台的应用门槛,不会让上手难度成为影响企业数字化转型过程的一道壁垒。
所以,和咱们一起进行一次大数据产品的装置部署吧!
创立集群
EasyMR反对多集群的对立治理。
基于物理机/虚拟机进行主机集群创立。
「增加主机」,通过账号接入、命令行接入的形式进行主机节点的增加
上传组件安装包
抉择平台已有的组件安装包进行装置部署,或者通过本地上传、网络上传的形式上传本人的组件安装包。
一键疾速自动化部署
EasyMR反对单个产品包的手动部署和多个产品包的主动部署两种部署形式。
主动部署通过上传产品线定义组件部署流程,平台解析筛选相干组件,依据定义的主机角色实现主动资源主动编排,平台依据依赖关系实现组件的程序部署,大大节俭了运维一一部署、资源配置的工夫。
产品装置过程中,咱们能够实时看到服务部署进度、查看部署日志,服务部署状况高深莫测。
7*24小时实时监控告警
EasyMR通过集成开源的promethus和grafana,实现对集群、服务、节点的外围参数监控,并通过灵便形象的仪表盘进行数据展示。蕴含CPU占用率,RAM使用率、磁盘空间、I/O读写速率等外围参数进行监控,实时把握集群、服务、节点的运行状态,升高运维故障率。同时,反对用户自建仪表盘及监控项,实现自定义监控项。
设置告警规定
平台提供 “短信通道、邮件通道、钉钉通道、企业微信通道、自定义通道” 5种通道配置,用户依据须要抉择适合通道并填写通道配置信息、音讯模板、地址等实现通道配置。
写在最初
没错,EasyMR就是这样一款好用、易用、高效的大数据根底工具,笼罩企业服务监控运维、组件的降级与回滚、离线数据分析、流式数据处理等多种利用场景。
将来EasyMR将保持自主翻新,一直进化,将积攒的大数据实践经验复制到更多的企业。
袋鼠云开源框架钉钉技术交换qun(30537511),欢送对大数据开源我的项目有趣味的同学退出交换最新技术信息,开源我的项目库地址:https://github.com/DTStack/Taier