hadoop安装详解【包括jdk配置】

1.准备虚拟机，安装linux系统

我安装的是centos7 , 在阿里镜像下载的，

地址 http: //mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso

历史版本目录地址 http: //mirrors.aliyun.com/centos/

【//前去掉空格】

vm 使用 16pro版本 ，

安装3个虚拟机

2.使用xshell远程连接虚拟机

3.官网下载hadoop

地址 https: //archive.apache.org/dist/hadoop/common

2.7.5版本直接下载地址
https: //archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

【//前去掉空格】

4.在自己喜欢的目录将压缩包上传过去

我的:

生成目录
mkdirs /home/myhadoop
进入该目录
cd /home/myhadoop
本地文件上传该目录
rz
然后选择压缩包即可上传
解压压缩包到当前目录
tar -zvxf hadoop-2.7.5.tar.gz -C 
进入解压的目录
cd hadoop-2.7.5

ls

可看到目录
bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share

说明：

bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

include目录：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。

lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

sbin目录：存放启动或停止Hadoop相关服务的脚本

share目录：存放Hadoop的依赖jar包、文档、和官方案例

配置环境变量
cd /etc/profile.d
vim my_env.sh
内容如下

#HADOOP_HOME
export HADOOP_HOME=/home/myhadoop/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存

然后执行
source my_env.sh
来生效

执行

hadoop version

如果出现

Error: JAVA_HOME is not set and could not be found.

则表示没有添加jdk的环境变量

如果是使用本地资源来安装jdk,取出jdk的安装路径，

如果是使用yum指令安装，则其默认的安装位置在

/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64

【jdk yum安装，看我这篇随笔 https: //www.cnblogs.com/c2g5201314/p/15780401.html】

我这里的使用yum的，配置模板为

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin

进入配置目录
cd /etc/profile.d
创建配置文件
vim JAVA_HOME.sh
然后加入模板里的内容，如果是本地资源来安装则改掉 JAVA_HOME= 后的地址为自己的即可
保存
执行 source JAVA_HOME.sh 生效

现在再执行  hadoop version  

出现 如下表示 成功

其他的一些linux指令，只做备忘参考

hadoop fs -ls x 查看 HDFS 的该级的文件目录
hadoop fs -ls x -R 迭代查看 HDFS 的文件目录
hadoop fs -mkdir x 在HDFS 创建文件夹
hadoop fs -put x y 从本地上传到HDFS
hadoop fs -get x y 从HDFS下载到本地
hadoop fs -mv x y 移动文件，即剪切
hadoop fs -rm x 删除文件，其实即使移动到回收站
hadoop fs -rm -r x 删除文件夹
hadoop fs -cp x y 拷贝文件
Hadoop fs cat x 将文件内容输出到控制台
sz x 将linux文件下载到本地
cd ./xxx/nb-fyzt
拷贝上一次的文件
cp ./xxx.jar ./xxx.jar-back
//删除
rm xxx.jar
删除后再上传
rz
运行
./run.sh restart
查看
tail -f nohup.out
查看当前路径
pwd
ctl + s 暂停输出会卡死，点击 ctl + q 即可恢复