cdh之大数据集群规划

    在搭建大数据集群之前&＃xff0c;对大数据集群的有效规划是非常重要的一件事&＃xff0c;所以此篇博文主要介绍集群节点规划。

  假如公司测试环境有5台机器&＃xff0c;生产环境100台机器&＃xff0c;配置如下&＃xff1a;

MyCluster001: mysql  cm-server  cm-agent

MyCluster002: cm-agent  nn  rm

MyCluster003: cm-agent  nn  rm

MyCluster004: cm-agent  dn  nm  broker  zk

MyCluster005: cm-agent  dn  nm  broker  zk

MyCluster006: cm-agent  dn  nm  broker  zk

。。。。。

MyCluster100: cm-agent  dn  nm 

 备注&＃xff1a;

1、选择第一台&＃xff08;配置不是太强的机器&＃xff09;作为工具节点&＃xff1a;mysql cm-server cm-agent

2、选择2台&＃xff0c;专门用来部署生态圈的主从架构的组件&＃xff08;HDFS、YARN、HBase&＃xff09;的主角色

3、dn和nm部署在同一台&＃xff08;追求数据本地化&＃xff09;&＃xff0c;其他非主从架构的组件的进程可以随意部署&＃xff0c;但尽量在同一个rack

4、cm-server没有必要做ha&＃xff0c;只有一台机器部署cm-server足以

5、

什么是数据本地化&＃xff1f;

  DataNode主要用来做数据节点&＃xff0c;NodeManager主要用来数据计算&＃xff0c;当NM计算数据可以直接获取同一台机器上的数据&＃xff0c;这样避免或者减少通过网络到其他节点拉取数据的时间&＃xff0c;也减少了网络带宽的消耗。在spark组件中数据本地化是一个非常重要的概念&＃xff0c;以后有时间再专门说明&＃xff0c;这里不再多介绍。

--------------------------

      用人品去感动别人&＃xff0c;用行动去带动别人&＃xff0c;用阳光去照耀别人&＃xff0c;用坚持去赢得别人&＃xff0c;要求自己每天都去做与目标有关的事情&＃xff0c;哪怕每天只进步一点点&＃xff0c;坚持下来你就是最优秀卓越的&＃xff01;欢迎大家加入大数据qq交流群&＃xff1a;725967421  一起交流&＃xff0c;一起进步&＃xff01;&＃xff01;
--------------------------