hadoopslaves文件_大数据基础【Task2】搭建Hadoop集群

任务详情&＃xff1a;

1. 搭建HA的Hadoop集群并验证&＃xff0c;3节点(1主2从)&＃xff0c;理解HA/Federation,并截图记录搭建过程
2. 阅读Google三大论文&＃xff0c;并总结
3. Hadoop的作用&＃xff08;解决了什么问题&＃xff09;/运行模式/基础组件及架构
4. 学会阅读HDFS源码&＃xff0c;并自己阅读一段HDFS的源码(推荐HDFS上传/下载过程)
5. Hadoop中各个组件的通信方式&＃xff0c;RPC/Http等
6. 学会写WordCount&＃xff08;Java/Python-Hadoop Streaming&＃xff09;&＃xff0c;理解分布式/单机运行模式的区别
7. 理解MapReduce的执行过程
8. Yarn在Hadoop中的作用

参考资料&＃xff1a; Google三大论文

【环境搭建视频】链接&＃xff1a;https://pan.baidu.com/s/1TmvPBBMkLah-e_H-UHjuxA 提取码&＃xff1a;iagg

集群规划1-省机器&＃xff1a;

集群规划2-清晰&＃xff1a;

1.搭建HA的Hadoop集群并验证&＃xff0c;3节点(1主2从)

按照集群规划1进行。

1.1 修改hostname

上一次我们搭建了三个虚拟机&＃xff0c;我的三个虚拟机的hostname分别为CP1、CP2、CP5&＃xff0c;为了连贯性&＃xff0c;我把CP5改成CP3。命令hostname可以查看当前主机名&＃xff0c;hostname CP3可以将主机名修改为CP3。如图所示&＃xff1a;

对应的命令是&＃xff1a;

此时查看hostname就会变成CP3&＃xff1a;

1.2 建立hostname和ip的映射关系

这一步是为了部署集群方便。在CP1上修改etc/hosts文件&＃xff1a;

emmm&＃xff0c;忽略我的ip地址的不连贯吧。

同理在CP2、CP3上重复上述过程&＃xff0c;文件内容完全一样。

1.3 关闭防火墙

在hadoop集群中会经常发生 机器和机器之间的交互&＃xff0c;为了避免因为防火墙产生的意外故障&＃xff0c;因此我们需要将防火墙关闭&＃xff0c;过程如下&＃xff1a;

状态从running变成了not running。

1.4 配置集群SSH免密码登录

首先要在三台机器上配置对本机的ssh免密码登录&＃xff0c;然后是配置三台机器之间的ssh免密码登录。

对于CP1、CP2和CP3&＃xff0c;都执行如下操作&＃xff08;配置对本机的ssh免密码登录&＃xff09;&＃xff1a;

然后就可以通过ssh连接了&＃xff1a;

然后配置三台机器之间的ssh免密码登录&＃xff0c;针对CP1&＃xff0c;执行如下命令&＃xff1a;

根据提示依次输入yes和CP2的登录密码即可。然后可以尝试ssh CP2&＃xff0c;ssh登录机器CP2&＃xff1a;

对CP3也执行上述操作。同样地&＃xff0c;CP2、CP3也要执行上述类似操作。

1.5 hadoop的集群部署

首先要把本地的hadoop压缩包上传到虚拟机&＃xff0c;我们上传到usr/local文件夹下&＃xff0c;因此执行下列命令&＃xff1a;

rz是工具包lrzsz上传文件到虚拟机的命令&＃xff0c;将hadoop文件上传过去。

然后解压缩文件&＃xff0c;并重命名&＃xff1a;

首先&＃xff0c;确认一下hadoop下有bin和sbin目录&＃xff1a;

&＃xff08;注意&＃xff0c;下方的环境变量请配置在~/.bashrc里&＃xff01;&＃xff01;&＃xff01;不然可能会出现我遇到的问题&＃xff09;

配置hadoop相关环境变量&＃xff1a;

原来的内容是这样的&＃xff1a;

修改后的内容是这样的&＃xff1a;

执行命令使之生效&＃xff1a;

分别输入下列命令检查看看java和hadoop有没有问题&＃xff1a;

创建/usr/local/data目录&＃xff1a;

接下来修改hadoop的配置。首先是core-site.xml&＃xff0c;在目录hadoop/etc/hadoop下&＃xff1a;

core-site.xml&＃xff08;文件末尾&＃xff09;的修改内容如下&＃xff1a;

然后是hdfs-site.xml的修改内容&＃xff1a;

因为我们的主节点是1个&＃xff0c;从节点2个&＃xff0c;这里的副本也就设置成2个比较合适。

修改mapred-site.xml。发现目录下只有一个叫mapred-site.xml.template的文件&＃xff0c;将其重命名&＃xff1a;

然后修改&＃xff0c;mapred-site.xml的修改内容&＃xff1a;

修改配置文件yarn-site.xml的内容&＃xff1a;

设置从节点的位置

上述操作都是针对CP1的&＃xff0c;我们要把CP1的hadoop安装包和配置文件都拷贝过去&＃xff0c;然后source配置文件&＃xff0c;使其生效&＃xff0c;并且在CP2和CP3下的/usr/local目录下建立data目录。

首先cd到local目录下&＃xff0c;该目录下有hadoop目录和data目录。

然后以递归的方式将hadoop文件拷贝到CP2的/usr/local目录下&＃xff1a;

可以把配置文件~/.bashrc也拷贝过去&＃xff0c;我选择自己修改。然后在CP2中创建/usr/local/目录下的data目录。

对CP3重复上述拷贝、修改配置文件、使配置生效、创建data目录操作。

接下来格式化NameNode并启动集群

然后出错了&＃xff1a;

网上查了一下&＃xff0c;说是还要配置hadoop-env.sh文件的jAVA_HOME&＃xff0c;因为hadoop找不到Java。。。明明/etc/profile都已经配置好了的。。。&＃xff08;可能配置~/.bashrc就不会出这个错&＃xff09;

没办法&＃xff0c;cd到目录/usr/local/hadoop/etc/hadoop下&＃xff0c;修改hadoop-env.sh&＃xff0c;把java_home参数改成绝对路径&＃xff1a;

同样地&＃xff0c;对CP2、CP3执行相同操作。

再次执行命令start-dfs.sh。

如果出现“namenode running as process XXX stop it first”这样的错误&＃xff0c;可以先stop-dfs.sh&＃xff0c;再start-dfs.sh。&＃xff08;start-all.sh可以看到更多&＃xff09;

可以用jps命令查看启动的情况&＃xff1a;

如果用start-all.sh&＃xff0c;再输入jps&＃xff1a;

可以在浏览器网址栏输入&＃xff1a;虚拟机ip地址:50070&＃xff0c;比如我的是&＃xff1a;

视频教程里说主机名:50070可以打开&＃xff0c;但我的一直打不开。

如果上述网址也打不开&＃xff0c;可以尝试下列方法&＃xff1a;

查看一些信息&＃xff1a;

可以在Utilities-browse the file system查看自己的文件系统&＃xff0c;可以看到现在什么都没有&＃xff1a;

可以尝试上传一个文件。在虚拟机vi hello.txt&＃xff0c;写入内容&＃xff0c;然后执行&＃xff1a;

上传文件。

然后再看上述界面&＃xff1a;

就有了文件。

下面来启动yarn集群。

1.6貌似不在任务要求里&＃xff1f;&＃xff1f;&＃xff1f;。。。偏偏这块花了挺长时间的....

1.6 安装hive

同样地&＃xff0c;通过在xshell输入rz命令将hive压缩文件上传到虚拟机的/usr/local文件夹下&＃xff0c;然后解压缩&＃xff0c;重命名&＃xff0c;修改环境变量&＃xff1a;

修改后的~/.bashrc&＃xff1a;

让配置文件生效&＃xff1a;

下面来安装mysql

执行上述命令后出现“No package mysql-server available”错误&＃xff0c;原因是CentOS7带有MariaDB而不是MySQL&＃xff0c;MariaDB和MySQL一样也是开元的数据库&＃xff0c;可以使用yum -y install mariadb-server mariadb命令安装。

如果必须要安装MySQL&＃xff0c;首先必须添加mysql社区repo通过输入命令&＃xff1a;

最后使用像安装MySQL的常规方法一样安装mysql&＃xff1a;

安装过程中&＃xff0c;出现“No more mirrors to try”错误&＃xff0c;执行下列命令&＃xff1a;

再重新安装。这个移动的网速真的太渣了&＃xff01;

从下午5点到凌晨1点&＃xff0c;除去中间吃饭洗澡的时间&＃xff0c;大概花了6个小时&＃xff0c;就做了这么一点。。。

安装完成之后&＃xff0c;启动mysql服务&＃xff1a;

配置进程随着机器启动&＃xff1a;

安装mysql-connector-java驱动包

将mysql connector拷贝到hive的lib包中&＃xff0c;这样hive才能用mysql驱动包来连接mysql数据库&＃xff0c;作为它的元数据库&＃xff08;可以到/usr/share/java目录下查看文件名&＃xff09;

在mysql上创建hive元数据库&＃xff0c;创建hive账号并进行授权。先输入mysql进入mysql&＃xff0c;再输入下列命令&＃xff1a;

输入exit退出mysql。

配置hive-site.xml&＃xff1a;

首先进入/usr/local/hive/conf目录&＃xff0c;重命名文件&＃xff1a;

修改配置文件hive-site.xml的内容。由于文件内容太多&＃xff0c;我们将其上传到本地机器&＃xff0c;用文本编辑器打开进行编辑&＃xff1a;

会弹出一个文本框&＃xff0c;选择一个保存位置即可。

然后修改&＃xff1a;

可以使用查找功能&＃xff0c;找到上面的name中的内容&＃xff0c;修改value的值。

然后用rz命令上传修改后的文件到虚拟机&＃xff08;注意要先删除虚拟机上的文件rm -rf&＃xff0c;否则无法上传成功&＃xff09;。

配置其它文件&＃xff1a;

测试 hive是否安装成功

第一个错误是因为上述jar包有重复绑定Logger类&＃xff0c;删除较旧版本即可。

第二个错误是因为没有正常启动Hive 的 Metastore Server服务进程。 执行如下命令&＃xff1a;

然后又出错&＃xff1a;

修改conf/hive-site.xml 中的 “hive.metastore.schema.verification” 值为 false&＃xff1a;

但是还有错&＃xff1a;

需要 使用 schematool工具初始化hive的 元素&＃xff0c;执行&＃xff1a;

居然还有错&＃xff1a;

执行下列步骤&＃xff1a;

将conf/hive-site.xml中的所有的"${system:java.io.tmpdir}"修改为"/usr/local/hive/tmpdir/"。

终于&＃xff01;&＃xff01;&＃xff01;

我们可以尝试一下导入txt文件到hive表。

先退出hive&＃xff08;exit;&＃xff09;&＃xff0c;在/usr/local目录下新建users.txt&＃xff0c;内容如下&＃xff1a;

然后在hive里依次输入&＃xff1a;

emmm&＃xff0c;不知道为什么&＃xff0c;这个问题先留着吧&＃xff0c;反正是hive语法的问题&＃xff0c;应该不是环境部署的问题。

1.7 安装zookeeper

用rz命令将压缩包上传到虚拟机的/usr/local目录下&＃xff0c;然后&＃xff1a;

配置zoo.cfg

然后设置zk节点标识

搭建zk集群&＃xff0c;在另外两个节点上按照上述步骤配置ZooKeeper&＃xff0c;使用scp将zk和.bashrc拷贝到CP2和CP3上即可。

唯一的区别是CP2和CP3上的标识号分别设置为1和2。

拷贝之后&＃xff0c;去CP2检查一下有没有拷贝成功&＃xff0c;并且source配置文件&＃xff0c;将myid的内容改成1

针对CP3重复上述拷贝、检查、source、修改myid为2的操作。

启动ZooKeeper集群

分别在三台机器上执行&＃xff1a;zkServer.sh start

检查ZooKeeper状态&＃xff1a;zkServer.sh status

然后用jps在三个机器上看看三个节点是否都有QuorumPeerMain进程&＃xff1a;

第一部分所有环境搭建的参考资料&＃xff1a;

https://blog.csdn.net/zxz547388910/article/details/86468925

https://blog.csdn.net/LoveCarpenter/article/details/78808135

CentOS 7 打开关闭FirewallD防火墙端口命令

https://blog.csdn.net/gongchenupc/article/details/68066990

Hive环境搭建

https://www.cnblogs.com/aspirant/p/6616575.html

2. Google三大论文

看这篇文章吧&＃xff0c;写的很好&＃xff0c;由于知识储备量不够&＃xff0c;暂时无法以自己的语言解释。。。&＃xff1a;

https://blog.csdn.net/w1573007/article/details/52966742

3. Hadoop的作用&＃xff08;解决了什么问题&＃xff09;/运行模式/基础组件及架构

Hadoop是一个开源框架&＃xff0c;可编写和运行分布式应用处理大规模数据。 Hadoop框架的核心是HDFS和MapReduce。其中 HDFS 是分布式文件系统&＃xff0c;MapReduce 是分布式数据处理模型和执行环境。

随着数据的来源途径越来越多&＃xff0c;数据的格式也越来越复杂&＃xff0c;数据量越来越大&＃xff0c;传统的数据库已经很难满足需求&＃xff0c;Hadoop就是为了解决这个问题而诞生的。其底层的分布式文件系统具有高拓展性&＃xff0c;通过数据冗余保证数据不丢失和提交计算效率&＃xff0c;同时可以存储各种格式的数据。同时其还支持多种计算框架&＃xff0c;既可以进行离线计算也可以进行在线实时计算。

Hadoop有三种运行模式&＃xff1a;单机模式、伪分布式模式、完全分布式模式。

单机模式

• -默认模式。
• -不对配置文件进行修改。
• -使用本地文件系统&＃xff0c;而不是分布式文件系统。
• -Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程&＃xff0c;Map()和Reduce()任务作为同一个进程的不同部分来执行的。
• -用于对MapReduce程序的逻辑进行调试&＃xff0c;确保程序的正确。

伪分布式模式

• -在一台主机模拟多主机。
• -Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行&＃xff0c;是相互独立的Java进程。
• -在这种模式下&＃xff0c;Hadoop使用的是分布式文件系统&＃xff0c;各个作业也是由JobTraker服务&＃xff0c;来管理的独立进程。在单机模式之上增加了代码调试功能&＃xff0c;允许检查内存使用情况&＃xff0c;HDFS输入输出&＃xff0c;以及其他的守护进程交互。类似于完全分布式模式&＃xff0c;因此&＃xff0c;这种模式常用来开发测试Hadoop程序的执行是否正确。
• -修改3个配置文件&＃xff1a;core-site.xml&＃xff08;Hadoop集群的特性&＃xff0c;作用于全部进程及客户端&＃xff09;、hdfs-site.xml&＃xff08;配置HDFS集群的工作属性&＃xff09;、mapred-site.xml&＃xff08;配置MapReduce集群的属性&＃xff09;
• -格式化文件系统

完全分布式模式

• -Hadoop的守护进程运行在由多台主机搭建的集群上&＃xff0c;是真正的生产环境。
• -在所有的主机上安装JDK和Hadoop&＃xff0c;组成相互连通的网络。
• -在主机间设置SSH免密码登录&＃xff0c;把各从节点生成的公钥添加到主节点的信任列表。
• -修改3个配置文件&＃xff1a;core-site.xml、hdfs-site.xml、mapred-site.xml&＃xff0c;指定NameNode和JobTraker的位置和端口&＃xff0c;设置文件的副本等参数

三种模式的集群必须配置信息&＃xff1a;

Hadoop的基础组件

Hadoop1.0的核心由HDFS&＃xff08;Hadoop Distributed File System&＃xff09;和MapReduce(分布式计算框架)构成。而在Hadoop2.0中增加了Yarn(Yet Another Resource Negotiator),来负责集群资源的统一管理和调度。

参考资料&＃xff1a;

https://www.zybuluo.com/Cesar/note/239412

https://blog.csdn.net/u010270403/article/details/51493191

https://blog.csdn.net/u013063153/article/details/53115216

https://blog.csdn.net/qq_26442553/article/details/78710170

4.学会阅读HDFS源码&＃xff0c;并自己阅读一段HDFS的源码(推荐HDFS上传/下载过程)

源码可以在官网下载&＃xff0c;我就直接在网上找了相关的文章看啦&＃xff0c;参考下方的资料&＃xff0c;讲的很详细了。

以文件上传为例&＃xff0c;其执行过程是这样的&＃xff1a;

1. FileSystem初始化&＃xff0c;Client拿到NameNodeRpcServer代理对象&＃xff0c;建立与NameNode的RPC通信
2. 调用FileSystem的create()方法&＃xff0c;由于实现类为DistributedFileSystem,所以是调用该类中的create()方法
3. DistributedFileSystem持有DFSClient的引用&＃xff0c;继续调用DFSClient中的create()方法
4. DFSOutputStream提供的静态newStreamForCreate()方法中调用NameNodeRpcServer服务端的create()方法并创建DFSOutputStream输出流对象返回
5. 通过hadoop提供的IOUtil工具类将输出流输出到本地

下面针对这个执行过程来分析源码。

1.FileSystem初始化&＃xff0c;Client拿到NameNodeRpcServer代理对象&＃xff0c;建立与NameNode的RPC通信&＃xff08;详情见参考文献第一篇&＃xff09;

2.调用FileSystem的create()方法&＃xff0c;由于实现类为DistributedFileSystem,所以是调用该类中的create()方法

这里调用了FileSystem的create()方法&＃xff0c;由于FileSystem是一个抽象类&＃xff0c;这里实际上是调用的是该类的子类create()方法

FileSystem.get()返回的是DistributedFileSystem对象&＃xff0c;所以这里我们直接进入DistributedFileSystem

3.DistributedFileSystem持有DFSClient的引用&＃xff0c;继续调用DFSClient中的create()方法

DFSClient的create()返回一个DFSOutputStream对象

4.DFSOutputStream提供的静态newStreamForCreate()方法中调用NameNodeRpcServer服务端的create()并创建DFSOutputStream输出流对象返回

newStreamForCreate()中的业务逻辑&＃xff1a;

到此&＃xff0c;Client拿到了服务端的输出流对象&＃xff0c;那么后面就容易了&＃xff0c;都是一些简单的文件输出&＃xff0c;输入流的操作&＃xff08;hadoop提供的IOUitl&＃xff09;。

参考 资料&＃xff1a;

Hadoop之HDFS原理及文件上传下载源码分析&＃xff08;上&＃xff09;

Hadoop之HDFS原理及文件上传下载源码分析&＃xff08;下&＃xff09;

5.Hadoop中各个组件的通信方式&＃xff0c;RPC/Http等

RPC&＃xff0c;即Remote Procdure Call&＃xff0c;中文名&＃xff1a;远程过程调用&＃xff1b;

　　&＃xff08;1&＃xff09;它允许一台计算机程序远程调用另外一台计算机的子程序&＃xff0c;而不用去关心底层的网络通信细节&＃xff0c;对我们来说是透明的。因此&＃xff0c;它经常用于分布式网络通信中。

RPC协议假定某些传输协议的存在&＃xff0c;如TCP或UDP&＃xff0c;为通信程序之间携带信息数据。在OSI网络通信模型中&＃xff0c;RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

　　&＃xff08;2&＃xff09;Hadoop的进程间交互都是通过RPC来进行的&＃xff0c;比如Namenode与Datanode之间&＃xff0c;Jobtracker与Tasktracker之间等。

详细的内容可以看下面两篇文章&＃xff1a;

https://www.cnblogs.com/nucdy/p/5655811.html

https://www.cnblogs.com/edisonchou/p/4285817.html

6.学会写WordCount&＃xff08;Java/Python-Hadoop Streaming&＃xff09;&＃xff0c;理解分布式/单机运行模式的区别

另起了一篇文章&＃xff1a;MapReduce任务—WordCount&＃xff08;Python-Hadoop Streaming&＃xff09;实例

7.理解MapReduce的执行过程

参考资料&＃xff1a;

https://zhuanlan.zhihu.com/p/45305945

https://blog.csdn.net/u013087513/article/details/77771600

8.Yarn在Hadoop中的作用

Yarn是Hadoop集群的资源管理系统。Yarn可以提高资源的利用率。Yarn的另一个目标就是拓展Hadoop&＃xff0c;使得它不仅仅可以支持MapReduce计算&＃xff0c;还能很方便的管理诸如Hive、Hbase、Pig、Spark/Shark等应用。这种新的架构设计能够使得各种类型的应用运行在Hadoop上面&＃xff0c;并通过Yarn从系统层面进行统一的管理&＃xff0c;也就是说&＃xff0c;有了Yarn&＃xff0c;各种应用就可以互不干扰的运行在同一个Hadoop系统中&＃xff0c;共享整个集群资源

参考资料&＃xff1a;

https://blog.csdn.net/suifeng3051/article/details/49486927

https://www.zhihu.com/question/34016617

附&＃xff1a;HDFS的常用命令&＃xff1a;

HDFS常用Shell命令和基础开发