暑假学习二8.24

今日学习内容补充：

1.hadoop介绍：

狭义:

核心组件，Hadoop

hdfs  分布存储

yarn   资源管理和任务调度框架

mapreduce  计算  （企业基本不再直接使用）

广义：

围绕Hadoop打造的大数据生态圈

Hadoop发行版本：

开源社区：http://hadoop.apache.org/

商业版本：cloudera和hortonworks

Hadoop架构变迁：

1.0-2.0框架优化

2.0-3.0性能优化

2.Hadoop集群概述：

包括，hdfs，yarn 逻辑上分离，物理上在一起，标准的主从架构集群

不存在mapreduce集群，mapreduce是计算框架，位于代码层面，不存在集群的说法

 3.Hadoop集群的安装

下载网址;Index of /dist/hadoop/common/hadoop-3.3.0 (apache.org)

课程提供了安装包，有编译好的安装包。

3.1集群角色规划

3.2基础环境准备

部分提前配置过了，以下是验证：

免密登录ssh：

时间同步：

创建统一工作目录：

安装jdk在三台机器上：

node1：先拖动导server目录下

解压并且验证安装：

拷贝到node2下jdk：

node3：修改上面的node2为node3即可

拷贝环境变量：

拷贝结束后同时重新加载环境变量

使用命令：

source /etc/profile

下面主要通过node1安装，node2，node3通过scp命名

上传Hadoop资源并且解压：