spark需要maven管理吗_IDEA中maven工程Spark依赖管理

一.安装maven

1.下载maven 二进制安装包

2.解压修改目录,移动到/usr/maven

tar -xzvf apache-maven-3.5.0-bin.tar.gz

mv apache-maven-3.5.0-bin /usr/maven3.5

3.配置环境变量

vim .profile

export M2_HOME&＃61;/usr/maven3.5/apache-maven-3.5.0

export PATH&＃61;$PATH:$M2_HOME/bin

生效配置 source ~/.profile

4.测试是否成功

mvn -version

二创建spark工程

1.在IDEA 创建工程

2 .勾选Createfrom archetype

5.完成后,会自动导入以来

6.进行POM.xml配置,如下  4.0.0  com.shentu.cn  SparkRM  1.0-SNAPSHOT  2008        2.11.8    2.10    2.0.0              scala-tools.org      Scala-Tools Maven2 Repository      http://scala-tools.org/repo-releases                  scala-tools.org      Scala-Tools Maven2 Repository      http://scala-tools.org/repo-releases                  org.scala-lang      scala-library      ${scala.version}              junit      junit      4.4      test              org.specs      specs      1.2.5      test                  org.apache.spark      spark-core_${spark.artifactID.suffix}      ${spark.version}          org.apache.spark    spark-streaming_${spark.artifactID.suffix}    ${spark.version}        org.apache.spark    spark-sql_${spark.artifactID.suffix}    ${spark.version}        org.apache.spark    spark-hive_${spark.artifactID.suffix}    ${spark.version}        org.apache.spark    spark-mllib_${spark.artifactID.suffix}    ${spark.version}        src/main/scala    src/test/scala                  org.scala-tools        maven-scala-plugin                                            compile              testCompile                                                ${scala.version}                      -target:jvm-1.8                                      org.apache.maven.plugins        maven-eclipse-plugin                  true                      ch.epfl.lamp.sdt.core.scalabuilder                                ch.epfl.lamp.sdt.core.scalanature                                org.eclipse.jdt.launching.JRE_CONTAINER            ch.epfl.lamp.sdt.launching.SCALA_CONTAINER                                                  org.scala-tools        maven-scala-plugin                  ${scala.version}