热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

MapReduce配置遇到的问题和ubuntu16.04下使用eclipse创建工程时卡死的解决方法

1、左边栏的ProjectExplorer里一直不出现DFSLocations.发现在把hadoop-eclipse-plugin-2.6.0.jar放到eclipse下的pluins文件

1、左边栏的Project Explorer里一直不出现DFS Locations.

  发现在把hadoop-eclipse-plugin-2.6.0.jar放到eclipse下的pluins文件夹下并且eclipse -clean之后依旧不显示,后来找到问题所在。

  在Linux虚拟机里换了新的Eclipse,又重新配置MapReduce。

  这次再把hadoop-eclipse-plugin-2.6.0.jar放到eclipse下的pluins文件夹下并且eclipse -clean之后,DFS Locations出现了。

  

2、配置:

  

  

  

 

3、在配置好MapReduce的路径和常规之后,将端口与hadoop配置的一致,之后能正常显示hdfs下的文件了。

  

  不过,新的eclipse出现了一个很大的问题,卡,非常卡,新建一个MapReduce项目卡了一下午,鼠标变成了圆圈进度条转了一下午,还关不掉。当我直接去关闭新建项目的窗口时,出现这个问题:

  

  这就很皮,卡的要死还不让关闭,直接关eclipse也是显示这个。

  最后百度查了之后,使用了这个命令:

1 kill -9 `ps -ef|grep program_name|awk '{print $2}'`

  将无法关闭的eclipse强制关闭。

  我本来以为是我把虚拟机的内存开小了,或者是eclipse内存不够才卡顿,后来发现在eclipse.ini里配置了各个运行内存的大小后,eclipse启动变快了,但是并不影响新建项目直接卡死。

  总之在这里走了很多弯路,试过了各种方法,最后走出一条可行的路,这里记载下方法,以便以后再遇到类似的问题可以解决:

  首先打开终端,输入export SWT_GTK3=0

  

  然后使用终端打开eclipse。

  在eclipse文件夹下的eclipse.ini文件中,找到:

1 --launcher.appendVmargs

  在这个代码的前面,加上这两行: 

1 --launcher.GTK_version
2 2

  问题迎刃而解,启动eclipse正常使用了。

 4.记录一下dfs location连接的错误

  

  这个是连接问题,配置里出现了问题(没有把那些参数的值和自己的hadoop配置时修改的值保持一致)

  还有一个是hadoop版本和hadoop-eclipse-plugin-2.6.0.jar这个插件的版本不匹配,也会报一个错。

  

 


推荐阅读
  • 一次上线事故,30岁+的程序员踩坑经验之谈
    本文主要介绍了一位30岁+的程序员在一次上线事故中踩坑的经验之谈。文章提到了在双十一活动期间,作为一个在线医疗项目,他们进行了优惠折扣活动的升级改造。然而,在上线前的最后一天,由于大量数据请求,导致部分接口出现问题。作者通过部署两台opentsdb来解决问题,但读数据的opentsdb仍然经常假死。作者只能查询最近24小时的数据。这次事故给他带来了很多教训和经验。 ... [详细]
  •     这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy ... [详细]
  • MR程序的几种提交运行模式本地模型运行1在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行-- ... [详细]
  • Kylin 单节点安装
    软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ... [详细]
  • Azkaban(三)Azkaban的使用
    界面介绍首页有四个菜单projects:最重要的部分,创建一个工程,所有flows将在工程中运行。scheduling:显示定时任务executing:显示当前运行的任务histo ... [详细]
  • 既然HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的she ... [详细]
  • 在Docker中,将主机目录挂载到容器中作为volume使用时,常常会遇到文件权限问题。这是因为容器内外的UID不同所导致的。本文介绍了解决这个问题的方法,包括使用gosu和suexec工具以及在Dockerfile中配置volume的权限。通过这些方法,可以避免在使用Docker时出现无写权限的情况。 ... [详细]
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • mui框架offcanvas侧滑超出部分隐藏无法滚动如何解决
    web前端|js教程off-canvas,部分,超出web前端-js教程mui框架中off-canvas侧滑的一个缺点就是无法出现滚动条,因为它主要用途是设置类似于qq界面的那种格 ... [详细]
  • Hadoop2.6.0 + 云centos +伪分布式只谈部署
    3.0.3玩不好,现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0,rm掉3.0.32.在etcp ... [详细]
  • Hadoop 源码学习笔记(4)Hdfs 数据读写流程分析
    Hdfs的数据模型在对读写流程进行分析之前,我们需要先对Hdfs的数据模型有一个简单的认知。数据模型如上图所示,在NameNode中有一个唯一的FSDirectory类负责维护文件 ... [详细]
  • 对于开源的东东,尤其是刚出来不久,我认为最好的学习方式就是能够看源代码和doc,測试它的样例为了方便查看源代码,关联导入源代 ... [详细]
  • 动手写一个OpenVPN的wrapper来优化OpenVPN性能
    动手写一个OpenVPN的wrapper来优化OpenVPN性能 ... [详细]
  • Zookeeper 总结与面试题汇总
    Zookeeper总结与面试题汇总,Go语言社区,Golang程序员人脉社 ... [详细]
author-avatar
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有