热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

CDH大数据平台实施经验总结2016

2016年负责实施了一个生产环境的大数据平台,用的CDH平台+docker容器的方式,过了快半年了,现在把总结发出来。1.平台规划注意事项1.1业务数据全部存储在datanode上面

2016年负责实施了一个生产环境的大数据平台,用的CDH平台+docker容器的方式,过了快半年了,现在把总结发出来。

1. 平台规划注意事项

1.1 业务数据全部存储在datanode上面,所以datanode的存储空间必须足够大,且每个datanode的存储空间尽量保持一致。

1.2 管理节点/namenode对存储空间要求不高,主要存储各计算节点datanode的元数据信息,以3个datanode为例,每个datanode存储2T的数据,namenode才耗费80G的空间。

1.3 由于hadoop有数据副本机制,默认为3个副本,因此datanode节点,系统盘做raid 1,数据盘做raid 0;namenode做raid 5,不管系统盘还是数据盘,都可以直接更换,保证数据不丢失;

1.4 计算节点datanode依靠的是数量优势,除了存储空间足够大之外,对机器配置要求不高,但是安装spark和impala的话对内存的要求较高,单节点2T的数据配置64G的单机内存有点吃力。

1.5 但是namenode要跟所有的datanode交互,接收处理各种请求,对机器配置要求较高,以的测试数据来看,namenode存放80G的元数据时,64G的内存已经有点紧张了,开始使用交换内存了。

1.6 namenode和Secondary namenode需要各自独立的两个节点,即相互独立部署,这样即使namenode机器挂了,也可以手动从secondary namenode恢复一下。在Hadoop 2高可靠性下可以配置两个namenode,保证一个namenode出现问题可以自动切换至另一个。

1.7 由于secondary namenode的是周期性的合并日志文件,因此单独部署时对机器压力较小,空间使用也只勉强是namenode的一半,因此可以把诸如hive/hbase等的服务器端安装在snn所在的服务器上,这样可以使机器资源得到最大化利用。

1.8 hdfs空间不够开始报警,但是df –h命令下查看就会发现其实空间余额还有好几T,这种情况是由于non dfs used空间膨胀导致的,non dfs used和remaining一起构成了hdfs的可用空间容量,两者呈现此消彼长的关系。Non dfs used从字面理解来看是非hadoop文件占用的空间,实际上是某些文件删除之后,hadoop的组件没有释放对其引用导致的,从的情况来看,单个节点2T的数据运行一个月会产生600G的non dfs used空间,最笨的办法就是重启CDH,一下子占用就到1G以下了。

2. docker中没有CDH运行环境

项目采取docker来发布、运行程序,docker实例无状态,停止服务即销毁,无法直接安装软件,而程序采用命令行的方式编写,必须依赖CDH环境运行,两者出现矛盾,三种方案解决:
2.1.所有程序基于API来开发,改程序
未采用,一来程序改动量太大,影响里程碑计划;二来CDH的有些组件对命令行的支持比对API的支持要好,比如sqoop。
2.2.制作一个CDH的镜像,不改程序
未采用,需要开发人员重新部署、学习docker技术,测试程序,成本较大;
2.3.用jsch方式远程连接CDH节点来执行命令,改程序
已采用,程序改动量较小,半天即可完成,已测试通过

3. sqoop注意事项

3.1.Oracle中是区分用户的,一般给sqoop提供的账号都是Oracle中的查询账号,通过同义词等形式来查询数据,所以sqoop命令中一定要带上用户,此用户跟Oracle提供给sqoop查询权限用户名不同(除非给sqoop提供的是生产库的业务原始账号,生产数据表都在此账号下面),sqoop命令中的账号是源数据表的owner用户,只有这样才能通过查询权限的用户去抽取同义词等模式的生产数据。

3.2.由于一般给sqoop提供的账号都是Oracle中的查询账号,如果需要通过访问Oracle的数据字典来获取源数据表结构,请使用dba_开头的系统表,因为源数据表结构的信息是在业务表的owner用户下面的user_开头的系统表中才有,查询用户下面的user_表中没有。需要的dba_开头的表包括:dba_tab_comments,dba_cons_columns,dba_constraints,dba_ind_columns ,dba_tab_columns,dba_col_comments

3.3. sqoop命令中,源数据库为rac集群的情况下,连接数据库某个节点时,命令中Oracle IP、端口号、SID之间一律使用冒号,而不是斜杠,只有在非集群模式或者scan ip的情况下才可以使用斜杠。

3.4.sqoop成功执行需要驱动包,在以下目录添加2个jar包/opt/cloudera/parcels/CDH-5.5.2-1.cdh5.5.2.p0.4/lib/sqoop/lib:
mysql-connector-java-5.1.38-bin.jar
ojdbc14-10.2.0.4.jar

3.5.sqoop命令中并发参数 –m 属性,一定要放在table属性之后,否则命令无法识别

3.6.采用jsch远程调用模式时,在sqoop命令没有执行完成之前不能关闭远程连接,否则即使已经提交了yarn也会中断执行。

3.7.sqoop默认会把Oracle中number和date类型转换为double和string类型,需要在sqoop命令中指定一下类型的转换规则。

3.8 sqoop增量抽取时,where条件使用双引号而非单引号,在Java代码远程调用ssh时,尽量使用between and,否则必须得转义<、>才能使用。

3.9 sqoop先创建表,后插入数据时容易跟对应的字段错位,需要设置分隔符参数 –fields-terminated-by “\001”,另外插入数据的顺序一定要与创建表的字段的顺序一致。

5. spark与docker容器结合

5.1.在程序中采用URL方式连接spark的master节点时必须用别名,IP地址无效。

5.2.应用部署于docker容器中,调用spark组件的时候应用会莫名的重启,后来排查发现是docker里需要维护hosts,不然 new javaSparkContext()会导致应用服务重启。但由于docker机制决定了,即使注册了也无法持久化存在,应用重启之后就还原了,所以直接在Java程序中完成,应用启动的时候注册到docker的hosts中。

5.3.应用部署于docker之中,调用spark组件的时候,spark的master和worker节点需要返回消息给sparkdriver,即需要访问部署应用的docker容器,如下图所示:
这里写图片描述
而docker的原有机制决定了,只能由部署于docker中的应用去访问集群中的物理节点,而外面的物理节点无法访问docker中的私网。
此外还有2个限制条件,第一:sparkdriver不支持映射地址和端口,必须是应用程序所在的IP;第二:docker容器的私网地址随着应用重启而在某个网段变化,如果固定为物理IP,将无限制的浪费物理IP地址,客户不会同意;
最终通过开启docker服务器的路由转发功能,在spark的master和worker节点上配置静态的路由信息得以实现由物理IP节点去访问docker容器内部的私网地址的功能,也就是说开启docker服务器的路由转发功能之后,其他机器发往172私网号段的请求,全部发给docker服务器。
命令:ip route add <目标网段>/<掩码> via

6. hive操作注意事项

6.1 hive中sql没有像Oracle那样进行自动优化,sql的优化非常重要,比如:同一业务逻辑,采用join方式一分钟搞定,但是如果采用等值连接的方式,2小时都没出结果。

6.2 hive中不支持join…on…or的形式,可以转换成union all的方式,此外hive也不支持on后面不相等的条件,只支持相等条件。

6.3 hive的存储方式一般有textfile、sequencefile、rcfile等三种,其中textfile即是文本格式,hive的默认存储格式,数据不做压缩,磁盘开销大,数据解析开销大,查询的效率最低,可以直接存储,但加载数据的效率最高;sequencefile,是Hadoop提供的一种二进制文件格式是Hadoop支持的标准文件格式,可压缩、可切片,查询效率高,但需要通过text文件转化来加载;TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的,而rcfile 是一种行列存储相结合的存储方式,先将数据按行分块再按列式存储,保证同一条记录在一个块上,避免读取多个块,有利于数据压缩和快速进行列存储,具备相当于行存储的数据加载和负载适应能力,扫描表时避免不必要的列读取,而使用列维度的压缩,能有效提升存储空间利用率,因此存储空间最小,查询的效率最高 ,但需要通过text文件转化来加载,加载的速度最低,但是由于hdfs一般都是一次写入多次读取,所以加载的速度较慢可以接受;目前大数据平台中hive的存储格式采用的是普通的textfile,后续还有很大的优化提示空间。

7. CM管理页面操作

7.1 有组件报错或者无法启动时,先查看相应日志,如果error的地方是关于时间的,ntp同步服务器时间,然后重启该组件;如果error的地方是关于客户端连接问题的,重启hostMonitor服务,如果不行就重启agent服务;绝大多数情况下通过上述两步就可成功,极少数情况下,那就删除角色重新添加该服务,必要的时候可以调整一下该服务的各种角色所在的节点位置。

7.2 如果服务器硬盘故障更换硬盘之后,各种组件启动报错,提示无法连接到cm,如果重启hostMonitor服务无效的话,可以先把该节点移除出服务器,然后配置角色模板,再添加进集群中来。

7.3 CM主机页面中会时常显示物理内存还有剩余,但是交换内存却用了好多,导致CDH报警;这个从Linux机制的角度来看,可以忽略不管,Linux系统会不时的进行页面交换操作,以保持尽可能多的空闲物理内存,即使并没有什么需要内存,Linux也会交换出暂时不用的内存页面,这样的可以避免等待交换所需的时间。如果非要消除这个报警,那就调整Linux中swappiness参数的值为0即可。


推荐阅读
  • 在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中,经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题,并提供了详细的解决方案,帮助读者避免常见的配置陷阱。通过这些经验分享,希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ... [详细]
  • HBase在金融大数据迁移中的应用与挑战
    随着最后一台设备的下线,标志着超过10PB的HBase数据迁移项目顺利完成。目前,新的集群已在新机房稳定运行超过两个月,监控数据显示,新集群的查询响应时间显著降低,系统稳定性大幅提升。此外,数据消费的波动也变得更加平滑,整体性能得到了显著优化。 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • Spark与HBase结合处理大规模流量数据结构设计
    本文将详细介绍如何利用Spark和HBase进行大规模流量数据的分析与处理,包括数据结构的设计和优化方法。 ... [详细]
  • 2012年9月12日优酷土豆校园招聘笔试题目解析与备考指南
    2012年9月12日,优酷土豆校园招聘笔试题目解析与备考指南。在选择题部分,有一道题目涉及中国人的血型分布情况,具体为A型30%、B型20%、O型40%、AB型10%。若需确保在随机选取的样本中,至少有一人为B型血的概率不低于90%,则需要选取的最少人数是多少?该问题不仅考察了概率统计的基本知识,还要求考生具备一定的逻辑推理能力。 ... [详细]
  • Docker入门指南:初探容器化技术
    Docker入门指南:初探容器化技术摘要:Docker 是一个使用 Go 语言开发的开源容器平台,旨在实现应用程序的构建、分发和运行的标准化。通过将应用及其依赖打包成轻量级的容器,Docker 能够确保应用在任何环境中都能一致地运行,从而提高开发和部署的效率。本文将详细介绍 Docker 的基本概念、核心功能以及如何快速上手使用这一强大的容器化工具。 ... [详细]
  • CentOS 7环境下Jenkins的安装与前后端应用部署详解
    CentOS 7环境下Jenkins的安装与前后端应用部署详解 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • 本文详细介绍了HDFS的基础知识及其数据读写机制。首先,文章阐述了HDFS的架构,包括其核心组件及其角色和功能。特别地,对NameNode进行了深入解析,指出其主要负责在内存中存储元数据、目录结构以及文件块的映射关系,并通过持久化方案确保数据的可靠性和高可用性。此外,还探讨了DataNode的角色及其在数据存储和读取过程中的关键作用。 ... [详细]
  • Python 数据分析领域不仅拥有高质量的开发环境,还提供了众多功能强大的第三方库。本文将介绍六个关键步骤,帮助读者掌握 Python 数据分析的核心技能,并深入探讨六款虽不广为人知但却极具潜力的数据处理库,如 Pandas 的替代品和新兴的可视化工具,助力数据科学家和分析师提升工作效率。 ... [详细]
  • Phoenix 使用体验分享与深度解析
    闲来无事看了下hbase方面的东西,发现还好理解不过不大习惯于是找到个phoenix感觉不错性能指标如下好像还不错了准备工作:启动hadoop集群启动zookkeeper启动hba ... [详细]
  • Hadoop + Spark安装(三) —— 调hadoop
    ***************************测试hadoop及问题跟进***************************执行以下语句报错datahadoop-2.9. ... [详细]
  • 前期Linux环境准备1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系4.关闭防火墙5.ssh免登陆6.安装JDK,配置环境变量等集群规划主机 IP安装软件运行进 ... [详细]
  • 在JavaWeb开发中,文件上传是一个常见的需求。无论是通过表单还是其他方式上传文件,都必须使用POST请求。前端部分通常采用HTML表单来实现文件选择和提交功能。后端则利用Apache Commons FileUpload库来处理上传的文件,该库提供了强大的文件解析和存储能力,能够高效地处理各种文件类型。此外,为了提高系统的安全性和稳定性,还需要对上传文件的大小、格式等进行严格的校验和限制。 ... [详细]
  • 构建高可用性Spark分布式集群:大数据环境下的最佳实践
    在构建高可用性的Spark分布式集群过程中,确保所有节点之间的无密码登录是至关重要的一步。通过在每个节点上生成SSH密钥对(使用 `ssh-keygen -t rsa` 命令并保持默认设置),可以实现这一目标。此外,还需将生成的公钥分发到所有节点的 `~/.ssh/authorized_keys` 文件中,以确保节点间的无缝通信。为了进一步提升集群的稳定性和性能,建议采用负载均衡和故障恢复机制,并定期进行系统监控和维护。 ... [详细]
author-avatar
帆_Jx
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有