如何在IntelliJIDEA中使用SBT构建UberJAR(FatJAR)？

注意:% "provided"表示不在最终的胖JAR中包含依赖项(这些库已包含在我的worker中)

注意:受此答案启发的 META-INF丢弃.

注意:%和的含义%%

现在我可以通过在my / my-project根文件夹中运行以下命令来使用SBT(如何安装它)来构建我的胖JAR :

sbt assembly

我的胖JAR现在位于新生成的/目标文件夹中:

/my-project/target/scala-2.11/my-project-assembly-1.0.jar

希望能帮助别人.

对于那些想在IntelliJ IDE中嵌入SBT的人:如何从IntelliJ IDEA中运行sbt-assembly任务？

在IntelliJ Idea中构建优步JAR/Fat JAR的3步流程:

Uber JAR/Fat JAR:JAR文件中包含所有外部libraray依赖项.

在IntelliJ Idea中添加SBT Assembly插件



转到ProjectName/project/target/plugins.sbt文件并添加此行addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

在build.sbt中添加合并,放弃和不添加策略



转到ProjectName/build.sbt文件并添加Uber JAR的打包策略


合并策略:如果两个包中存在关于库版本的冲突,那么要在Uber JAR中打包哪个.
丢弃策略:从库中删除一些您不想在Uber JAR中打包的文件.
不添加策略:不要向Uber JAR添加一些包.
例如:spark-core将出现在您的Spark Cluster中.所以我们不应该在Uber JAR中打包它


合并策略和丢弃策略基本代码:

assemblyMergeStrategy in assembly := { case PathList("META-INF", xs @ _*) => MergeStrategy.discard case x => MergeStrategy.first }

因此,您要求使用此命令丢弃META-INF文件,如果使用此命令存在任何冲突,则使用第一次出现的库文件的MergeStrategy.discard其余文件.MergeStrategy.first

不要添加策略基本代码:

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" %"provided"

如果我们不想将spark-core添加到我们的Uber JAR文件中,因为它已经存在于我们的clutser中,所以我们% "provided"在它的库末尾添加了它.


构建具有所有依赖关系的Uber JAR



sbt assembly用于构建包的终端类型

瞧!Uber JAR已建成.JAR将在ProjectName/target/scala-XX中

将以下行添加到project/plugins.sbt中

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

将以下内容添加到build.sbt中

mainClass in assembly := some("package.MainClass")
assemblyJarName := "desired_jar_name_after_assembly.jar"

val meta = """META.INF(.)*""".r
assemblyMergeStrategy in assembly := {
  case PathList("javax", "servlet", xs @ _*) => MergeStrategy.first
  case PathList(ps @ _*) if ps.last endsWith ".html" => MergeStrategy.first
  case n if n.startsWith("reference.conf") => MergeStrategy.concat
  case n if n.endsWith(".conf") => MergeStrategy.concat
  case meta(_) => MergeStrategy.discard
  case x => MergeStrategy.first
}

程序集合并策略用于解决创建胖jar时发生的冲突.