WinPythonHadoop在Win10上安装教程

1.安装python环境&＃xff0c;自己google吧

2.安装jdk8, jdk-8u191-windows-x64.exe 如果本地安装的10&＃xff0c;那么就请 切换至8&＃xff0c;这点必须的。

3.安装pyspark

4.安装 Hadoop和 spark

spark-2.3.2-bin-hadoop2.6.tgz

hadoop-2.6.4.tar.gz

解压的时候&＃xff0c;最好使用 管理员权限 进行解压

这一点要保证 Hadoop版本一致&＃xff0c;

还有一点 必须要注意&＃xff0c;pyspark版本必须要与 本地安装的spark版本一致

5.那就是 设置 JAVA_HOME&＃xff0c;HADOOP_HOME以及SPARK_HOME环境变量的问题了&＃xff0c;分别指向对应的安装路径即可

6.还有一个步骤&＃xff0c;就是下载 winutils.exe这个文件

下载后&＃xff0c;将该 文件 放在 Hadoop的bin 目录下面&＃xff0c;同时创建 c:\tmp\hive文件夹&＃xff0c;

之后&＃xff0c;管理员打开 cmd&＃xff1a;

输入&＃xff1a; Hadoop路径\bin\winutils.exe chmod 777 c:\tmp\hive

7.以上步骤ok后&＃xff0c;最好是 重启一下 电脑。

8.管理员打开 cmd

输入&＃xff1a;spark-shell

之后 会出现 spark的版本提示&＃xff0c;基本就 ok了&＃xff0c;或者 继续输入

scala>sc

返回 res0:org.apache.spark.SparkContext&＃61; org.apache.spark.SparkContextxxxxx

这也说明安装 ok了&＃xff0c;

9.现在可以 使用 pyspark了

其中&＃xff0c;步骤6 是参考了 其它 的安装方法&＃xff0c;记不清链接了

大家相互学习&＃xff0c;相互进步

另外大家 也可以 关注我的 csdn:【未来战警】码农 - CSDN博客

也可以关注微信公众号&＃xff1a;

​

​​