Hadoop教程(第三节)

MapReduce

如上图位置&＃xff0c;有一个事例jar包&＃xff0c;我们可以运行测试一下。

如上图&＃xff0c;我们可以看到有很多参数&＃xff0c;我们可以试着传入。

上述命令是将根路径hdfs下的文件里的不同单词做个数统计&＃xff0c;并输出到/wc目录中。

网页显示如下。
然后来体验一下在yarn上运行mapreduce&＃xff0c;我们要修改下述配置文件。
然后编辑该文件
然后编辑yarn-site.xml

然后使用如下命令启动节点

然后再次运行mapreduce&＃xff0c;注意输出目录要写一个新的目录。

启动测试

conclude

一、大数据
1.含义大数据指在一定时间范围内使用常规的软件无法处理的数据集合&＃xff01;2.特点①海量②高增长率③多样性④低价值密度二、Hadoop
1.含义狭义&＃xff1a; Hadoop只代表hadoop框架本身&＃xff01;广义&＃xff1a; hadoop代表整个hadoop体系&＃xff0c;由hadoop框架和其他依赖于hadoop的其他框架共同组成&＃xff01;2.hadoop的组成
2.x版本HDFS: 负责大数据存储的一个分布式文件系统&＃xff01;
YARN: 负责为大数据计算程序提供资源申请&＃xff0c;管理和调度的框架&＃xff01;MapReduce: 编程框架
Common: 常用的工具包2.x版本和1.x版本的区别&＃xff1a;在1.x版本&＃xff0c;MR既负责运行MR程序还负责为MR程序申请资源&＃xff01;Hadoop集群只能为自身的MR程序提供服务&＃xff01;在2.x版本&＃xff0c;MR只负责MR程序的计算&＃xff0c;资源的调度和管理由YARN负责&＃xff01;Hadoop集群&＃xff0c;不仅能为自身的MR程序提供服务&＃xff01;还可以为第三方计算引擎&＃xff0c;例如TeZ,Spark,Flink等提供计算资源的调度服务&＃xff01;三、HDFS中的核心进程1.核心进程Namenode(1个): 负责HDFS上所有文件元数据的管理&＃xff01;元数据&＃xff1a; 文件的属性(文件名&＃xff0c;大小&＃xff0c;创建时间&＃xff0c;所属主&＃xff0c;由哪些块组成)职责&＃xff1a; ①负责接受客户端的所有请求②负责接受DN上报的块信息③负责向DN分配任务&＃xff0c;例如维护文件的副本数等Datanode&＃xff08;N个&＃xff09;: 负责HDFS上所有文件数据的存储&＃xff01;SecondaryNamenode(N个): 负责协助Namenode工作&＃xff01;四、YARN中的核心进程1.核心进程ResourceManager(1个)&＃xff1a; 负责整个集群所有资源的管理和调度&＃xff01;职责&＃xff1a; ①负责接受客户端的所有请求②负责接受NM上报的块信息③负责向NM分配任务&＃xff0c;例如检查NM是否健康&＃xff0c;是否在线等NodeManager(N个)&＃xff1a; 负责当前机器所有资源的管理和调度&＃xff01;五、MapReduce中的核心进程1.MapReduce是一个编程模型&＃xff01;这个模型由两个阶段组成&＃xff0c;一个称为Map阶段&＃xff0c;另一个称为Reduce阶段&＃xff01;在Map阶段和Reduce阶段分别启动若干进程负责运算&＃xff01;这些进程称为Task!在Map阶段启动的Task称为MapTask!在Reduce阶段启动的Task称为ReduceTask!将一个MapReduce程序称为一个Job!一个Job中会启动若干个Task!在Job启动时&＃xff0c;Job会先创建一个MRAppMaster进程&＃xff0c;由这个进程和RM进行通信&＃xff0c;为Job中的每个Task申请计算所需要的资源&＃xff01;Task的请求&＃xff0c;会被RM缓存到一个调度队列中&＃xff0c;由NM领取Task&＃xff0c;领取后NM会根据Task要求&＃xff0c;提供计算资源&＃xff01;提供后&＃xff0c;为了避免计算资源在当前Task使用时被其他的task抢占&＃xff0c;NM会将资源封装到一个Container中&＃xff01;Container可以对计算资源进行隔离&＃xff01;六、安装
1.环境要求必须保证已经安装了JDK&＃xff0c;有JAVA_HOME环境变量&＃xff01;2.安装解压在linux下编译的Hadoop&＃xff01;3. 建议将HADOOP_HOME提升为全局变量&＃xff01;后续的HADOOP体系中的所有的框架&＃xff0c;都通过HADOOP_HOME找到hadoop的安装目录&＃xff01;将bin,sbin目录配置到PATH中&＃xff01;4.目录结构bin: 常用的工具hadoop所在的目录sbin: 提供对集群的管理功能&＃xff0c;例如启动和停止进程&＃xff01;etc: 默认的配置文件目录七、使用
1. 配置文件hadoop有4个默认我配置文件&＃xff0c;这4个文件会随着Hadoop启动时&＃xff0c;自动加载&＃xff01;如果希望对这4个文件加载的默认属性进行覆盖&＃xff01;用户需要自定义配置文件&＃xff01;文件格式&＃xff1a; core-site.xml----->core-default.xmlhdfs-site.xml----->hdfs-default.xmlyarn-site.xml----->yarn-default.xmlmapred-site.xml----->mapred-default.xml配置文件的位置&＃xff1a;自定义位置&＃xff1a; hadoop --confdir 配置文件的目录默认配置文件目录&＃xff1a; $HADOOP_HOME/etc/hadoop2.HDFS的运行模式①本地模式&＃xff1a; 使用当前计算机的文件系统作为HDFS的文件系统&＃xff01;fs.defaultFS&＃61;file:///(默认)②分布式文件系统&＃xff1a; 通过运行NN,DN等进程&＃xff0c;由这些进程组成一个分布式的系统&＃xff0c;进行文件的读写&＃xff01;fs.defaultFS&＃61;hdfs://NN所在的主机名:90003.启动一个分布式文件系统
①在$HADOOP_HOME/etc/hadoop&＃xff0c;配置core-site.xmlfs.defaultFS&＃61;hdfs://NN所在的主机名:9000
②配置Hadoop默认的工作目录&＃xff0c;在$HADOOP_HOME/etc/hadoop&＃xff0c;配置core-site.xmlhadoop.tmp.dir&＃61;配置一个当前用户有写权限的非tmp目录
③格式化NNhadoop namenode -format目的&＃xff1a; ①生成NN的工作目录②在工作目录下生成NN所要使用的特殊的文件&＃xff0c;例如VERSION&＃xff0c;fsiamge000000注意&＃xff1a; 一个集群搭建完成后&＃xff0c;只需要格式化一次&＃xff01;④启动hadoop-daemon.sh start namenode|datanode⑤查看jpshttp://NN所运行的主机名:500704.MR的运行模式本地模式&＃xff1a; 在本机使用多线程的方式模拟多个Task的运行&＃xff01;mapreduce.framework.name&＃61;local(默认)分布式模式&＃xff1a; 在YARN上运行&＃xff01;mapreduce.framework.name&＃61;yarn(默认)5.配置MR在yarn上运行
①在$HADOOP_HOME/etc/hadoop&＃xff0c;配置mapred-site.xmlmapreduce.framework.name&＃61;yarn
②配置YARN在$HADOOP_HOME/etc/hadoop&＃xff0c;配置yarn-site.xml配置yarn.resourcemanager.hostname&＃61;RM运行的主机名yarn.xxxx-auxservice&＃61;mapreduce_shuffle
③启动YARNyarn-daemon.sh start resourcemanager | nodemanager④查看jpshttp://rm所运行的主机名:8088⑤提交作业hadoop jar xxx.jar 主类名 输入目录.. 输出目录要去&＃xff1a; 输出目录必须不存在输入目录中必须全部是文件