热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

本地执行MapReduce程序之后,报的一些错误

【clienteclipse集群提交运行】:客户端eclipse集群提交mapreduce代码1.需求:在master:8088上,有客户

【client eclipse集群提交运行】:客户端 eclipse集群提交 mapreduce代码

 
   1.  需求:在master:8088上,有客户端提交的job,则需要local-->yarn
     需要改: 【mapred-site.xml】


            mapreduce.framework.namelocal //改成yarnThe runtime framework for executing MapReduce jobs.Can be one of local, classic or yarn. 
  2.报错:       

             

            2018-06-28 00:23:18,573 WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:· (62)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2018-06-28 00:23:20,481 INFO [main] client.RMProxy (RMProxy.java:createRMProxy(98)) -  Connecting to ResourceManager at /0.0.0.0:8032Retrying connect to server: 0.0.0.0/0.0.0.0:8032.//主机名默认是0.0.0.0,然后尝试连接连不上,需要指定指定主机名为master,去连接

             解决:【yarn-site.xml】

                    The hostname of the RM.yarn.resourcemanager.hostnamemaster //默认值是:0.0.0.0
 3. 报错:

       

Exit code: 1Exception message: /bin/bash: line 0: fg: no job control//没有job协议                         Container exited with a non-zero exit code 1Failing this attempt. Failing the application.2018-06-28 00:40:54,407 INFO [main] mapreduce.Job (Job.java:monitorAndPrintJob(1385)) - Counters: 0       解决: 【mapred-site.xml】

        允许跨平台,使得Windows平台向集群提交job  

             If enabled, user can submit an application cross-platform //用户就可以提交应用跨平台i.e. submit an application from a Windows client to a Linux/Unix server orvice versa.mapreduce.app-submission.cross-platform //app应用允许跨平台true //默认false,应该改成true
  4. 执行之后,无结果运行:

        

No job jar file set. User classes may not be found. See Job or Job#setJar(String). Container killed by the ApplicationMaster.Container killed on request. Exit code is 143Container exited with a non-zero exit code 143        原因:没有生成jar文件

        解决:打jar包(将写的java文件和配置的文件都导出)。

                    放置到classpath下:右键jar包-->Bulid Path-->add to Bulid Path


 5.报错:0.0.0./0.0.0.:10020,反复的报这个错

                10020是历史服务器;

          解决:把历史服务器开启来就好,开启history服务,

          命令即可:            

                 1) $>mr-jobhistory-daemon.sh start historyserver

                 2) 还要修改【mapred-site.xml】:

                       
 mapreduce.jobhistory.address = master:10020

                      mapred-site.xml中还有添加:        

                       

            mapreduce.jobhistory.address0.0.0.0:10020 //改成master:10020MapReduce JobHistory Server IPC host:port  

        



 







推荐阅读
  • 解决JAX-WS动态客户端工厂弃用问题并迁移到XFire
    在处理Java项目中的JAR包冲突时,我们遇到了JaxWsDynamicClientFactory被弃用的问题,并成功将其迁移到org.codehaus.xfire.client。本文详细介绍了这一过程及解决方案。 ... [详细]
  • Hadoop发行版本选择指南:技术解析与应用实践
    本文详细介绍了Hadoop的不同发行版本及其特点,帮助读者根据实际需求选择最合适的Hadoop版本。内容涵盖Apache Hadoop、Cloudera CDH等主流版本的特性及应用场景。 ... [详细]
  • MapReduce原理是怎么剖析的
    这期内容当中小编将会给大家带来有关MapReduce原理是怎么剖析的,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。1 ... [详细]
  • Java EE CDI:解决依赖关系冲突的实例
    在本教程中,我们将探讨如何在Java EE的CDI(上下文和依赖注入)框架中有效解决依赖关系的冲突问题。通过学习如何使用限定符,您将能够为应用程序的不同客户端提供多种接口实现,并确保每个客户端都能正确调用其所需的实现。 ... [详细]
  • 深入解析Spark核心架构与部署策略
    本文详细探讨了Spark的核心架构,包括其运行机制、任务调度和内存管理等方面,以及四种主要的部署模式:Standalone、Apache Mesos、Hadoop YARN和Kubernetes。通过本文,读者可以深入了解Spark的工作原理及其在不同环境下的部署方式。 ... [详细]
  • 初探Hadoop:第一章概览
    本文深入探讨了《Hadoop》第一章的内容,重点介绍了Hadoop的基本概念及其如何解决大数据处理中的关键挑战。 ... [详细]
  • Hadoop MapReduce 实战案例:手机流量使用统计分析
    本文通过一个具体的Hadoop MapReduce案例,详细介绍了如何利用MapReduce框架来统计和分析手机用户的流量使用情况,包括上行和下行流量的计算以及总流量的汇总。 ... [详细]
  • HBase运维工具全解析
    本文深入探讨了HBase常用的运维工具,详细介绍了每种工具的功能、使用场景及操作示例。对于HBase的开发人员和运维工程师来说,这些工具是日常管理和故障排查的重要手段。 ... [详细]
  • 深入解析Hadoop的核心组件与工作原理
    本文详细介绍了Hadoop的三大核心组件:分布式文件系统HDFS、资源管理器YARN和分布式计算框架MapReduce。通过分析这些组件的工作机制,帮助读者更好地理解Hadoop的架构及其在大数据处理中的应用。 ... [详细]
  • 本文介绍了如何使用Gradle和gdx-setup.jar工具来创建LibGDX项目,包括详细的步骤和注意事项,适合初学者和有经验的开发者。 ... [详细]
  • 大数据时代的机器学习:人工特征工程与线性模型的局限
    本文探讨了在大数据背景下,人工特征工程与线性模型的应用及其局限性。随着数据量的激增和技术的进步,传统的特征工程方法面临挑战,文章提出了未来发展的可能方向。 ... [详细]
  • 深入浅出:Hadoop架构详解
    Hadoop作为大数据处理的核心技术,包含了一系列组件如HDFS(分布式文件系统)、YARN(资源管理框架)和MapReduce(并行计算模型)。本文将通过实例解析Hadoop的工作原理及其优势。 ... [详细]
  • 流处理中的计数挑战与解决方案
    本文探讨了在流处理中进行计数的各种技术和挑战,并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性,还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]
  • 深入理解云计算与大数据技术
    本文详细探讨了云计算与大数据技术的关键知识点,包括大数据处理平台、社会网络大数据、城市大数据、工业大数据、教育大数据、数据开放与共享的应用,以及搜索引擎与Web挖掘、推荐技术的研究及应用。文章还涵盖了云计算的基础概念、特点和服务类型分类。 ... [详细]
  • 本文介绍如何通过整合SparkSQL与Hive来构建高效的用户画像环境,提高数据处理速度和查询效率。 ... [详细]
author-avatar
手机用户2602907485
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有