04Standalone集群架构

分布式主从架构：整体的功能及架构高度类似于YARN【ResourceManager、NodeManager】

• 分布式架构


• 普通分布式主从架构：HDFS、YARN、Spark、Flink、Hbase => 主节点单点故障问题
  
  
  
  • 解决主节点单点故障问题：HA高可用架构来解决
  
  
  
  


• 公平分布式主从架构：Zookeeper
  
  
  
  • 不存在所讲的单点故障问题，Zookeeper负责帮别人解决单点故障问题
  
  
  • 整个大数据平台中ZK的场景：1-辅助实现HA，解决单点故障问题。2-存储实时工具元数据
  
  
  
  

功能：提供分布式资源管理和任务调度

主：Master：管理节点，类比于YARN中的RM

• 接受客户端请求：所有程序的提交，都是提交给主节点


• 管理从节点：通过心跳机制检测所有的从节点的健康状态


• 资源管理和任务调度：将所有从节点的资源在逻辑上合并为一个整体，将任务分配给不同的从节点

从：Worker：计算节点，类比于YARN中NM

• 使用自己所在节点的资源运行计算进程Executor：给每个计算进程分配一定的资源


• 所有Task线程计算任务就运行在Executor进程中


• 假设每台机器机器：32Core - 64GB


• 那么Worker的资源由配置决定，例如16Core - 32GB


• 表示Worker最多能使用这台机器的16Core32GB的资源用于计算

注意：Executor类似于MapTask或者ReduceTask进程，每个程序的Executor只启动一次