作者:mobiledu2502857683 | 来源:互联网 | 2023-09-11 18:51
本文主要介绍关于大数据,windows的知识点,对【windows安装hadoop教程,带截图】和【hadoop在windows上安装教程】有兴趣的朋友可以看下由【天宇_任】投稿的技术文章,希望该技术
本文主要介绍关于大数据,windows的知识点,对【windows安装hadoop教程,带截图】和【hadoop在windows上安装教程】有兴趣的朋友可以看下由【天宇_任】投稿的技术文章,希望该技术和经验能帮到你解决你所遇的hadoop相关技术问题。
hadoop在windows上安装教程
1:下载hadoop资源,链接:https://pan.baidu.com/s/19KVtjOCCwu9bEleRCWNGWA
提取码:6666
2:解压hadoop资源,我是解压到D盘根目录
3:配置系统变量和环境变量
变量名:HADOOP_HOME
变量值:D:\Hadoop\hadoop-2.7.7(根据个人解压目录填写)
环境变量值:%HADOOP_HOME%\bin
4:测试配置是否成功
打开cmd,输入hadoop,如果出现下图则配置成功
5:将D:\Hadoop\hadoop-2.7.7\bin\hadoop.dll移动到D:\Hadoop\hadoop-2.7.7\sbin以及C:\Windows\System32
这两个目录下。
6:创建目录
修改之前先创建以下几个空目录:
D:\Hadoop\hadoop-2.7.7\data
D:\Hadoop\hadoop-2.7.7\data\dfs
D:\Hadoop\hadoop-2.7.7\data\dfs\datanode
D:\Hadoop\hadoop-2.7.7\data\dfs\namenode
7:修改配置文件
1)D:\Hadoop\hadoop-2.7.7\etc\hadoop
下的core-site.xml文件。
打开该文件,找到如下位置。
将
改为如下内容
fs.defaultFS
hdfs://localhost:9000
2)D:\Hadoop\hadoop-2.7.7\etc\hadoop
下的hdfs-site.xml文件。
注意路径改为压缩后的路径
dfs.replication
1
dfs.namenode.http-address
localhost:50070
dfs.namenode.dir
/D:/Hadoop/hadoop-2.7.7/data/dfs/namenode
dfs.datanode.name.dir
/D:/Hadoop/hadoop-2.7.7/data/dfs/datanode
3)D:\Hadoop\hadoop-2.7.7\etc\hadoop
下的mapred-site.xml.template文件。
mapreduce.framework.name
yarn
mapred.job.tracker
hdfs://localhost:9001
改完记得将mapred-site.xml.template改名为mapred-site.xml(我的是已经改完名字的)
4)D:\Hadoop\hadoop-2.7.7\etc\hadoop
下的yarn-site.xml文件
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
5)E:\Hadoop\hadoop-2.7.7\etc\hadoop
下的hadoop-env.cmd文件
在文件的最后添加如下语句
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\Java1.8\jdk1.8.0_181
set JAVA_HOME=该机器的jdk环境变量
8:格式化HDFS
9:开启四个进程
以管理员身份打开CMD,切换到D:\Hadoop\hadoop-2.7.7\sbin
目录下,输入命令:start-all.cmd
如果cd D:\Hadoop\hadoop-2.7.7\sbin无法切换到sbin 可以使用如下命令
10:使用jps命令查看启动是否成功
11:测试Hadoop DFS
打开浏览器,在地址栏输入http://localhost:50070
查看Hadoop状态
12:http://localhost:8088
查看集群状态
13:结束。安装成功
本文《windows安装hadoop教程,带截图》版权归天宇_任所有,引用windows安装hadoop教程,带截图需遵循CC 4.0 BY-SA版权协议。