热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

本地执行MapReduce程序之后,报的一些错误

【clienteclipse集群提交运行】:客户端eclipse集群提交mapreduce代码1.需求:在master:8088上,有客户

【client eclipse集群提交运行】:客户端 eclipse集群提交 mapreduce代码

 
   1.  需求:在master:8088上,有客户端提交的job,则需要local-->yarn
     需要改: 【mapred-site.xml】


            mapreduce.framework.namelocal //改成yarnThe runtime framework for executing MapReduce jobs.Can be one of local, classic or yarn. 
  2.报错:       

             

            2018-06-28 00:23:18,573 WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:· (62)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2018-06-28 00:23:20,481 INFO [main] client.RMProxy (RMProxy.java:createRMProxy(98)) -  Connecting to ResourceManager at /0.0.0.0:8032Retrying connect to server: 0.0.0.0/0.0.0.0:8032.//主机名默认是0.0.0.0,然后尝试连接连不上,需要指定指定主机名为master,去连接

             解决:【yarn-site.xml】

                    The hostname of the RM.yarn.resourcemanager.hostnamemaster //默认值是:0.0.0.0
 3. 报错:

       

Exit code: 1Exception message: /bin/bash: line 0: fg: no job control//没有job协议                         Container exited with a non-zero exit code 1Failing this attempt. Failing the application.2018-06-28 00:40:54,407 INFO [main] mapreduce.Job (Job.java:monitorAndPrintJob(1385)) - Counters: 0       解决: 【mapred-site.xml】

        允许跨平台,使得Windows平台向集群提交job  

             If enabled, user can submit an application cross-platform //用户就可以提交应用跨平台i.e. submit an application from a Windows client to a Linux/Unix server orvice versa.mapreduce.app-submission.cross-platform //app应用允许跨平台true //默认false,应该改成true
  4. 执行之后,无结果运行:

        

No job jar file set. User classes may not be found. See Job or Job#setJar(String). Container killed by the ApplicationMaster.Container killed on request. Exit code is 143Container exited with a non-zero exit code 143        原因:没有生成jar文件

        解决:打jar包(将写的java文件和配置的文件都导出)。

                    放置到classpath下:右键jar包-->Bulid Path-->add to Bulid Path


 5.报错:0.0.0./0.0.0.:10020,反复的报这个错

                10020是历史服务器;

          解决:把历史服务器开启来就好,开启history服务,

          命令即可:            

                 1) $>mr-jobhistory-daemon.sh start historyserver

                 2) 还要修改【mapred-site.xml】:

                       
 mapreduce.jobhistory.address = master:10020

                      mapred-site.xml中还有添加:        

                       

            mapreduce.jobhistory.address0.0.0.0:10020 //改成master:10020MapReduce JobHistory Server IPC host:port  

        



 







推荐阅读
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • 本文详细介绍了 Dockerfile 的编写方法及其在网络配置中的应用,涵盖基础指令、镜像构建与发布流程,并深入探讨了 Docker 的默认网络、容器互联及自定义网络的实现。 ... [详细]
  • 本文介绍了一款用于自动化部署 Linux 服务的 Bash 脚本。该脚本不仅涵盖了基本的文件复制和目录创建,还处理了系统服务的配置和启动,确保在多种 Linux 发行版上都能顺利运行。 ... [详细]
  • DNN Community 和 Professional 版本的主要差异
    本文详细解析了 DotNetNuke (DNN) 的两种主要版本:Community 和 Professional。通过对比两者的功能和附加组件,帮助用户选择最适合其需求的版本。 ... [详细]
  • 本文将介绍如何编写一些有趣的VBScript脚本,这些脚本可以在朋友之间进行无害的恶作剧。通过简单的代码示例,帮助您了解VBScript的基本语法和功能。 ... [详细]
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • MQTT技术周报:硬件连接与协议解析
    本周开发笔记重点介绍了在新项目中使用MQTT协议进行硬件连接的技术细节,涵盖其特性、原理及实现步骤。 ... [详细]
  • UNP 第9章:主机名与地址转换
    本章探讨了用于在主机名和数值地址之间进行转换的函数,如gethostbyname和gethostbyaddr。此外,还介绍了getservbyname和getservbyport函数,用于在服务器名和端口号之间进行转换。 ... [详细]
  • 扫描线三巨头 hdu1928hdu 1255  hdu 1542 [POJ 1151]
    学习链接:http:blog.csdn.netlwt36articledetails48908031学习扫描线主要学习的是一种扫描的思想,后期可以求解很 ... [详细]
  • 本文详细介绍了如何配置Apache Flume与Spark Streaming,实现高效的数据传输。文中提供了两种集成方案,旨在帮助用户根据具体需求选择最合适的配置方法。 ... [详细]
  • 前言ReactNative是目前最流行的跨平台框架,并且是Facebook团队开源的项目。架构及实现技术上都有很高的研究价值,本系列就来分析一下Reac ... [详细]
  • 这是一个基于 React 构建的掘金移动版应用,主要模仿了掘金的 UI 设计,并进行了部分自定义调整。项目专注于移动端体验,同时支持服务端渲染和渐进式网络应用(PWA)功能。 ... [详细]
  • Hadoop MapReduce 实战案例:手机流量使用统计分析
    本文通过一个具体的Hadoop MapReduce案例,详细介绍了如何利用MapReduce框架来统计和分析手机用户的流量使用情况,包括上行和下行流量的计算以及总流量的汇总。 ... [详细]
  • 如何配置Unturned服务器及其消息设置
    本文详细介绍了Unturned服务器的配置方法和消息设置技巧,帮助用户了解并优化服务器管理。同时,提供了关于云服务资源操作记录、远程登录设置以及文件传输的相关补充信息。 ... [详细]
  • Android 渐变圆环加载控件实现
    本文介绍了如何在 Android 中创建一个自定义的渐变圆环加载控件,该控件已在多个知名应用中使用。我们将详细探讨其工作原理和实现方法。 ... [详细]
author-avatar
手机用户2602907485
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有