热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Spark异常:Applicationfinishedwithfailedstatus

我的原创地址:spark-submit报错:Applicationapplication_1529650293575_0148finishedwithfailedstatus​do

我的原创地址:

spark-submit报错:Application application_1529650293575_0148 finished with failed statusdongkelun.com《Spark异常:Application finished with failed status》

前言

记录spark-submit提交Spark程序出现的一个异常,以供第一次出现这种异常且不知道原因,该怎么解决的的同学参考。

1、异常信息

Exception in thread "main" org.apache.spark.SparkException: Application application_1529650293575_0148 finished with failed status at org.apache.spark.deploy.yarn.Client.run(Client.scala:1187) at org.apache.spark.deploy.yarn.Client$.main(Client.scala:1233) at org.apache.spark.deploy.yarn.Client.main(Client.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:782) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

2、异常原因

出现该异常场景是spark-submit提交master为yarn cluster,yarn client没有这种问题,原因是因为,在代码里指定了master为local(本地测试用),在spark-submit提交程序时忘记删除了 * 注:上面说的是我碰到的一种情况,其实只要有错误,yarn cluster模式都会报这种异常,具体可以看目录7

3、异常再现

代码

package com.dkl.leanring.spark.exception
import org.apache.spark.sql.SparkSession
object YarnClusterDemo {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().appName("YarnClusterDemo").master("local").getOrCreate()
val sc = spark.sparkContext
val rdd = sc.parallelize(Seq(1, 2, 3))
println(rdd.count)
spark.stop()
}
}

这段代码在本地是没有问题,输出结果为3,把它打包,然后放在集群上,用spark-submit提交测试一下

4、yarn client

–master yarn 默认的就是client模式,所以用下面的命令

spark-submit --master yarn --class com.dkl.leanring.spark.exception.YarnClusterDemo spark-scala_2.11-1.0.jar

等价于

spark-submit --master yarn --deploy-mode client --class com.dkl.leanring.spark.exception.YarnClusterDemo spark-scala_2.11-1.0.jar

结果也会正常打印出来,因为在代码里指定了master为local所以实际上应该还是用的local,但是没有研究client模式不报错,可能是用的client模式用提交代码的那台机器为Driver,然后再用local模式吧

5、yarn cluster

用下面的命令,即可再现异常

spark-submit --master yarn --deploy-mode cluster --class com.dkl.leanring.spark.exception.YarnClusterDemo spark-scala_2.11-1.0.jar

所以实际用spark-submit提交程序的时候,将master在代码里删掉,然后用命令行–master指定即可

val spark = SparkSession.builder().appName("YarnClusterDemo").getOrCreate()

6、附图

《Spark异常:Application finished with failed status》
《Spark异常:Application finished with failed status》
《Spark异常:Application finished with failed status》
《Spark异常:Application finished with failed status》

7、更新:其他情况

在我后面用yarn cluster模式的时候,又碰到了一样的异常信息,检查了一下master没有在代码里指定为local,经过一步步的测试,最后发现,是由于有一行代码读取的本地文件,在yarn client模式的时候,提交程序的那台机器即为Driver,会从Driver的机器上对应的目录找本地文件,所以在yarn client的时候不会报错(Driver有该文件)在yarn cluster会随机选择集群上一个节点作为Driver,那么Driver没有该文件,就会产生异常,而yarn cluster模式返回的异常不很明确,只是返回

Exception in thread "main" org.apache.spark.SparkException: Application application_*** finished with failed status

这样的异常,所以不知道是哪里出错了,可以在代码里加上捕获异常的代码,这样就可以在yarn的日志里看到具体的异常信息了,具体的代码我就不贴了,贴一下捕获异常的

try {
//此处为你的可能产生异常的代码 } catch {
case e: Exception => println(e)
}

在加了捕获异常代码后,yarn日志

《Spark异常:Application finished with failed status》
《Spark异常:Application finished with failed status》


推荐阅读
  • Maven + Spring + MyBatis + MySQL 环境搭建与实例解析
    本文详细介绍如何使用MySQL数据库进行环境搭建,包括创建数据库表并插入示例数据。随后,逐步指导如何配置Maven项目,整合Spring框架与MyBatis,实现高效的数据访问。 ... [详细]
  • 二维码的实现与应用
    本文介绍了二维码的基本概念、分类及其优缺点,并详细描述了如何使用Java编程语言结合第三方库(如ZXing和qrcode.jar)来实现二维码的生成与解析。 ... [详细]
  • JUnit下的测试和suite
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • 本文探讨了如何通过Service Locator模式来简化和优化在B/S架构中的服务命名访问,特别是对于需要频繁访问的服务,如JNDI和XMLNS。该模式通过缓存机制减少了重复查找的成本,并提供了对多种服务的统一访问接口。 ... [详细]
  • 本文探讨了在使用JavaMail发送电子邮件时,抄送功能未能正常工作的问题,并提供了详细的代码示例和解决方法。 ... [详细]
  • 本文基于Java官方文档进行了适当修改,旨在介绍如何实现一个能够同时处理多个客户端请求的服务端程序。在前文中,我们探讨了单客户端访问的服务端实现,而本篇将深入讲解多客户端环境下的服务端设计与实现。 ... [详细]
  • 1、编写一个Java程序在屏幕上输出“你好!”。programmenameHelloworld.javapublicclassHelloworld{publicst ... [详细]
  • 本文深入探讨了Go语言中的接口型函数,通过实例分析其灵活性和强大功能,帮助开发者更好地理解和运用这一特性。 ... [详细]
  • 问题场景用Java进行web开发过程当中,当遇到很多很多个字段的实体时,最苦恼的莫过于编辑字段的查看和修改界面,发现2个页面存在很多重复信息,能不能写一遍?有没有轮子用都不如自己造。解决方式笔者根据自 ... [详细]
  • 2020年9月15日,Oracle正式发布了最新的JDK 15版本。本次更新带来了许多新特性,包括隐藏类、EdDSA签名算法、模式匹配、记录类、封闭类和文本块等。 ... [详细]
  • 如何在Java中使用DButils类
    这期内容当中小编将会给大家带来有关如何在Java中使用DButils类,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。D ... [详细]
  • Java多线程售票案例分析
    本文通过一个售票系统的实例,深入探讨了Java中的多线程技术及其在资源共享和并发控制中的应用。售票过程涉及查询、收款、找零和出票等多个步骤,其中对总票数的管理尤为关键。 ... [详细]
  • 本文将详细介绍如何使用Java编程语言生成指定数量的不重复随机数,包括具体的实现方法和代码示例。适合初学者和有一定基础的开发者参考。 ... [详细]
  • 本文详细介绍了Android系统的四层架构,包括应用程序层、应用框架层、库与Android运行时层以及Linux内核层,并提供了如何关闭Android系统的步骤。 ... [详细]
  • pypy 真的能让 Python 比 C 还快么?
    作者:肖恩顿来源:游戏不存在最近“pypy为什么能让python比c还快”刷屏了,原文讲的内容偏理论,干货比较少。我们可以再深入一点点,了解pypy的真相。正式开始之前,多唠叨两句 ... [详细]
author-avatar
single
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有