Hadoop学习基础知识

Hadoop两个核心组件&＃xff1a;HDFS和MapReduce

HDFS&＃xff1a;分布式文件系统&＃xff0c;存储海量数据

MapReduce&＃xff1a;并行处理矿建&＃xff0c;实现任务分解和调度

Hadoop能够做什么&＃xff1f;处理PB级别的数据处理、分析、统计、查询。

有点&＃xff0c;高扩展&＃xff0c;低成本&＃xff0c;成熟的生态。

Hadoop大数据首选&＃xff0c;人才缺口大&＃xff1a;hadoop编程人员&＃xff0c;hadoop运维人员

java和hadoop伪分布式安装文档参考&＃xff1a;https://blog.csdn.net/sa726663676/article/details/113046277

hdfs设计架构&＃xff1a;块&＃xff08;block&＃xff09; namenode  datanode

块&＃xff1a;所有文件存储的时候都切成相同大小的块&＃xff0c;hdfs默认块大小是64M&＃xff0c;块是文件存储的基本单元。

namenode&＃xff1a;是管理节点&＃xff0c;存放元数据&＃xff08;1&＃xff09;文件与数据块的映射表&＃xff08;2&＃xff09;数据块与数据节点的映射表

datanode&＃xff1a;是hdfs的工作节点&＃xff0c;是存放真正的数据块数据。

hdfs的特点&＃xff1a;1数据冗余&＃xff0c;硬件容错&＃xff0c;2流式数据访问&＃xff08;存储数据不能被修改&＃xff09;3 适合储存大文件&＃xff08;因为namenode存储元数据也需要占空间&＃xff09;

适用性和局限性&＃xff1a;适合批量读写&＃xff0c;吞吐量高&＃xff0c;不适合交互式应用&＃xff0c;低延迟难满足。

适合一次写入多次读取&＃xff0c;顺序读写。不支持多用户并发写相同文件。

hadoop fs -mkdir input #建立一个input文件夹存储hadoop文件

将一个大任务分成很多个小任务&＃xff08;map&＃xff09;&＃xff0c;并行执行后&＃xff0c;合并结果&＃xff08;reduce&＃xff09;

基本概念

MapReduce的容错机制。

&＃xff08;1&＃xff09;重复执行。当程序出错时&＃xff0c;程序首先会重复执行4次&＃xff0c;如果4次都错了就放弃执行。

&＃xff08;2&＃xff09;推测执行。有一个节点执行慢的话会找其他节点执行相同任务&＃xff0c;第一个执行完成的通知其它节点停止执行。

WordCount单词计数&＃xff08;Hadoop入门程序&＃xff09;

以下是通过java程序控制hadoop api编写程序,具体流程有以下4个步骤

1.编写WordCount.java:包含Mapper类和Reducer类

2.编译WordCount.java javac -classpath

3 打包jar -cvf WordCount.jar classes/*

4作业提交到hadoop运行&＃xff1a;hadoop jar WourCount.jar WordCount input output

程序如下&＃xff1a;

视频&＃xff1a;https://www.imooc.com/video/8086

以上参考学习视频&＃xff1a;https://www.imooc.com/video/7645