【Spark+NLP】13、使用IDEA创建spark项目+pom.xml的配置

说在前面&＃xff1a;

之前spark的分布式环境终终终终于搭建好了&＃xff0c;下一步就是开始spark编程了。

我用到的是IDEA。

临时先在windows环境下操作&＃xff0c;过两天移到linux环境中。

一、IDEA的安装

https://blog.csdn.net/PrincessLin/article/details/91540040

二、idea安装scala &＃43; maven的安装和配置

https://blog.csdn.net/PrincessLin/article/details/96585563

正文&＃xff1a;

一、前面使用idea创建的scala项目&＃xff0c;这种方式配置maven的时候有些繁琐&＃xff0c;容易报错。

从网上搜索了另一种方式&＃xff1a;直接创建maven文件&＃xff0c;再导入sdk包

方法如下&＃xff1a;

https://blog.csdn.net/sp_ur/article/details/82683264

二、上方攻略的第10步pom.xml文件&＃xff0c;本人配置如下&＃xff1a;


4.0.0linfirstScala1.0-SNAPSHOT1.81.82.11.122.4.32.8.3UTF-8org.scala-langscala-library${scala.version}org.apache.sparkspark-core_2.11${spark.version}org.apache.sparkspark-sql_2.11${spark.version}org.apache.sparkspark-streaming_2.11${spark.version}org.apache.hadoophadoop-client${hadoop.version}mysqlmysql-connector-java6.0.6org.apache.kafkakafka_2.110.8.2.1org.apache.sparkspark-streaming-kafka-0-8_2.11${spark.version}redis.clientsjedis2.9.0net.alchim31.mavenscala-maven-plugin3.2.2org.apache.maven.pluginsmaven-compiler-plugin3.5.1net.alchim31.mavenscala-maven-pluginscala-compile-firstprocess-resourcesadd-sourcecompilescala-test-compileprocess-test-resourcestestCompileorg.apache.maven.pluginsmaven-compiler-plugincompilecompileorg.apache.maven.pluginsmaven-shade-plugin2.4.3packageshade*:*META-INF/*.SFMETA-INF/*.DSAMETA-INF/*.RSA


其中中的内容根据自己的软件版本改写&＃xff0c;本人的是&＃xff1a;

三、pom.xml文件爆红的解决方法&＃xff1a;

粘贴了这么多依赖&＃xff0c;肯定缺很多包&＃xff0c;可以使用idea的自动导入&＃xff1a;

在代码页面右键&＃xff0c;找到maven&＃xff0c;再点击reimport&＃xff0c;然后就可以等着电脑自己导入了~

如果依然报错&＃xff0c;可参考&＃xff1a;

https://blog.csdn.net/lmhlmh_/article/details/82779207