注意:在windows系统上测试spark代码时如果报缺少winutils.exe的错误,下载下面文件然后解压,需要在程序运行的开始加上
System.setProperty("hadoop.home.dir", "xxx/hadoop-common-2.7.3-bin-master")
文件链接:
hadoop-common-2.7.3-bin-master.zip
打包流程
1.如果不是第一次打包,如果项目中有META-INF目录就把这个文件夹删除,否则会报错
1.Buid--->Buid Atrifacts...
2.点击Edit
3.若存在所需要打包的程序,先删除掉
4.添加项目
5.删除除了要运行的
6.然后点ok
7.再次点Build-->Build Artifacts
8.点击Build
9.然后再项目的out目录下就有打包的文件了
10.如果对文件进行了修改直接点Rebuild即可