【Spark实战】慕课网日志分析：Hadoop环境配置和基本操作

重要路径说明&＃xff1a;

app&＃xff1a;所有软件的安装目录
software&＃xff1a;安装包目录
data&＃xff1a;测试数据目录
source&＃xff1a;软件源码目录
app/hadoop-2.6.0-cdh5.7.0/bin&＃xff1a;包含客户端相关的脚本
app/hadoop-2.6.0-cdh5.7.0/sbin/&＃xff1a;包含服务端相关的脚本&＃xff0c;例如start-yarn.sh start-dfs.sh

查看虚拟机ip

命令&＃xff1a;ifconfig

修改主机名到ip地址的映射

命令&＃xff1a;sudo vim /etc/hosts

HDFS环境配置

修改app/hadoop-2.6.0-cdh5.7.0/etc/hadoop的三个文件&＃xff1a;
1.hadoop-env.sh
根据命令echo $JAVA_HOME可知&＃xff1a;

[hadoop&＃64;hadoop001 hadoop]$ echo $JAVA_HOME
/home/hadoop/app/jdk1.7.0_51


因此&＃xff0c;将JAVA_HOME修改为/home/hadoop/app/jdk1.7.0_51&＃xff1a;

2.core-site.xml
原来是

<configuration>
<property><name>fs.default.namename><value>hdfs://hadoop001:8020value>
property>
configuration>


现修改为&＃xff1a;

<configuration>
<property><name>fs.defaultFSname><value>hdfs://hadoop001:8020value>
property>
configuration>


3.hdfs-site.xml
复制个数设置为1&＃xff0c;不用改&＃xff0c;这个镜像里面已经默认配置好了。

<property><name>dfs.replicationname><value>1value>
property>


格式化HDFS

格式化后&＃xff0c;HDFS上的数据会被清空&＃xff0c;因此只在第一次的时候格式化。
执行命令&＃xff1a;./bin/hdfs namenode -format

使用这个教程的linux镜像直接格式化的话&＃xff0c;会有个坑&＃xff1a;jps后发现DataNode不能正常运行&＃xff0c;解决方法在此。

如果格式化成功&＃xff0c;则会有这么一句提示&＃xff1a;

19/04/12 02:10:34 INFO common.Storage: Storage directory /home/hadoop/tmp/dfs/name has been successfully formatted.


启动和停止HDFS

启动&＃xff1a;./start-dfs.sh
停止&＃xff1a;./stop-dfs.sh
使用jps查看NameNode、DataNode、SecondaryNameNode是否都正常运行&＃xff1a;

此外&＃xff0c;也可以在浏览器中输入&＃xff1a;http://192.168.89.130:50070&＃xff0c;结果如下&＃xff1a;

查看HDFS文件

hadoop fs -ls /

启动yarn

./sbin/start-yarn.sh&＃xff0c;jps可见增加了ResourceManager和NodeManager&＃xff1a;

启动hive

./app/hive-1.1.0-cdh5.7.0/bin/hive

启动spark

使用local模式&＃xff0c;最后要加上mysql驱动&＃xff1a;
./app/spark-2.1.0-bin-2.6.0-cdh5.7.0/bin/spark-shell --master local[2] --jars ~/software/mysql-connector-java-5.1.27-bin.jar

HDFS shell常用命令

1. 查看文件列表&＃xff1a;hadoop fs -ls /

2. 新建文件夹 hadoop fs -mkdir
   例如&＃xff1a;hadoop fs -mkdir /test

3. 放文件进hdfs&＃xff1a;hadoop fs -put
   例如&＃xff1a;hadoop fs -put hdfs.cmd /test/
   

4. 查看文件内容&＃xff1a;hadoop fs -text或者hadoop fs -cat
   例如&＃xff1a;hadoop fs -text /test/hdfs.cmd

5. 从hdfs取出文件到本地&＃xff1a;hadoop fs -get
   hadoop fs -get /test/hdfs.cmd a_tmp

6. 删除文件hadoop fs -rm
   例如&＃xff1a;hadoop fs -rm /test/hdfs.cmd