热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

eclipsehadoopplugin安装和使用

系统:windows10eclipse版本:neon.3hadoop版本:ambari2.5.1安装下的hdp2.6.1对应hadoop版本2.7.3plugin版

系统:windows10
eclipse版本:neon.3
hadoop 版本:ambari 2.5.1 安装下的 hdp 2.6.1 对应hadoop版本 2.7.3
plugin版本:2.7.3
下载目录:http://pan.baidu.com/s/1jIeIqxC

1.将hadoop-eclipse-plugin-2.7.3.jar存入/eclipse/dropins目录下

2.重启eclipse

3.切换到map/reduce界面 window–>perspective–>Other perspective–>other

这里写图片描述

4.在eclipse下方Map/Reduce Locations中右击新建hadoop location填入map redeuce master和dfs master的主机地址和端口号

这里写图片描述
这两个参数的位置可以通过两种方式查看:
1.yarn的资源管理器图像化界面一般是:8088(这个端口号可以在 /etc/hadoop/**/yarn-site.xml中查看yarn.resourcemanager.webapp.address的value;)
这里写图片描述
*选择Tools–>Configuration 搜索:mapreduce.jobhistory.address 即为map/reduce master地址;搜索fs.defaultFS 即为DFS master位置
*注意:实际上hadoop 2.x后没有m/r master这个概念了
2.在ambari中直接搜索(that’s why we use ambari hhh)

5.完成后我们就可以在左侧DFS Locations下 右击集群名选择reconnect后,看到Hdfs system

这里写图片描述
如果出现perimission denied情况 可以通过修改hdfs-site.xml 中的dfs.permissions.enable为false即可(或ambari直接修改)


推荐阅读
  • 对于初学者而言,搭建一个高效稳定的 Python 开发环境是入门的关键一步。本文将详细介绍如何利用 Anaconda 和 Jupyter Notebook 来构建一个既易于管理又功能强大的开发环境。 ... [详细]
  • 本文详细介绍了如何在Oracle VM VirtualBox中实现主机与虚拟机之间的数据交换,包括安装Guest Additions增强功能,以及如何利用这些功能进行文件传输、屏幕调整等操作。 ... [详细]
  • spring boot使用jetty无法启动 ... [详细]
  • 本文将从基础概念入手,详细探讨SpringMVC框架中DispatcherServlet如何通过HandlerMapping进行请求分发,以及其背后的源码实现细节。 ... [详细]
  • 本文记录了在Windows 8.1系统环境下,使用IIS 8.5和Visual Studio 2013部署Orchard 1.7.2过程中遇到的问题及解决方案,包括503服务不可用错误和web.config配置错误。 ... [详细]
  • 流处理中的计数挑战与解决方案
    本文探讨了在流处理中进行计数的各种技术和挑战,并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性,还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]
  • 深入理解云计算与大数据技术
    本文详细探讨了云计算与大数据技术的关键知识点,包括大数据处理平台、社会网络大数据、城市大数据、工业大数据、教育大数据、数据开放与共享的应用,以及搜索引擎与Web挖掘、推荐技术的研究及应用。文章还涵盖了云计算的基础概念、特点和服务类型分类。 ... [详细]
  • 使用GPO设置Windows更新的时间和日期
    本文详细介绍了如何通过组策略对象(GPO)配置Windows更新的时间和日期,以确保系统在指定的时间窗口内进行更新。 ... [详细]
  • 如何高效查看Java API和源码
    在Java学习过程中,查看API文档和源码是提高编程能力的重要手段。本文将详细介绍如何使用各种工具和方法高效地查看Java API和源码。 ... [详细]
  • 从理想主义者的内心深处萌发的技术信仰,推动了云原生技术在全球范围内的快速发展。本文将带你深入了解阿里巴巴在开源领域的贡献与成就。 ... [详细]
  • 如何在PHP中安装Xdebug扩展
    本文介绍了如何从PECL下载并编译安装Xdebug扩展,以及如何配置PHP和PHPStorm以启用调试功能。 ... [详细]
  • 深入理解:AJAX学习指南
    本文详细探讨了AJAX的基本概念、工作原理及其在现代Web开发中的应用,旨在为初学者提供全面的学习资料。 ... [详细]
  • 本文介绍了如何在 MapReduce 作业中使用 SequenceFileOutputFormat 生成 SequenceFile 文件,并详细解释了 SequenceFile 的结构和用途。 ... [详细]
  • Hadoop的文件操作位于包org.apache.hadoop.fs里面,能够进行新建、删除、修改等操作。比较重要的几个类:(1)Configurati ... [详细]
  • com.sun.javadoc.PackageDoc.exceptions()方法的使用及代码示例 ... [详细]
author-avatar
mobiledu2502881853
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有