热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

HBase分布式安装

HBase分布式安装安装HBase之前需要先安装Hadoop,因为HBase是运行在Hadoop集群上的。安装Hadoop可以参照一、安装准备及环境说明运行在中的三台机器上hbase1作为master,hbase2、3作为regionserver。HBase的版本为0.94.11-security,下载地址二、安装操

HBase分布式安装 安装HBase之前需要先安装Hadoop,因为HBase是运行在Hadoop集群上的。安装Hadoop可以参照 一、安装准备及环境说明 运行在中的三台机器上hbase1作为master,hbase2、3作为region server。 HBase的版本为0.94.11-security,下载地址 二、安装操

HBase分布式安装

安装HBase之前需要先安装Hadoop,因为HBase是运行在Hadoop集群上的。安装Hadoop可以参照

一、安装准备及环境说明

运行在中的三台机器上hbase1作为master,hbase2、3作为region server。

HBase的版本为0.94.11-security,下载地址

二、安装操作

下载后,先解压,然后进入conf目录,编辑配置:

1、修改hbase-site.xml配置文件,在configuration里添加

hbase.rootdirhdfs://hbase1:9000/hbasehbase.cluster.distributedtruehbase.zookeeper.quorumhbase1,hbase2,hbase3hbase.zookeeper.property.dataDir/home/songtao/zookeeper_datahbase.master.info.bindAddresshbase1The bind address for the HBase Master web UI

2、修改hbase-env.sh文件,加入:

export JAVA_HOME=/home/songtao/jdk1.6.0_35 export HBASE_MANAGES_ZK=true

3、编辑regionservers文件,添加两个RegionServer:

hbase2 hbase3

4、配置另外两台

将hbase安装文件拷贝到另两台机器:

$ scp -r hbase-0.94.11-security hbase2:/home/songtao/ $ scp -r hbase-0.94.11-security hbase3:/home/songtao/

三、运行&停止HBase

运行HBase之前必须先开启Hadoop,允许和停止命令如下:

sh /home/songtao/hbase-0.94.11-security/bin/start-hbase.sh sh /home/songtao/hbase-0.94.11-security/bin/stop-hbase.sh

运行后会看到如下几个进程,hadoop、hbase相关,两个图分别是master和regionserver

image

四、测试

1、进入hbase shell,用status命令查看集群状态,如下:

image

2、建一个测试表:

hbase(main):,

3、登录另外两台机器查看数据是否能查到:

查看hdfs,t1已经生成:

image

进入hbase shell 查询:

4、另外可以通过web页面查看集群状态等(需要设置好本地hosts):

:60010

五、配置过程中遇见的各种问题

在成功配置好集群后进入shell遇见了各种问题,在此不详细叙述,可以参考文章中提到的解决方法解决。

需要注意的是hadoop临时文件、防火墙、文件访问权限、hdfs的格式化、hosts设置、zookeeper数据清空等问题。

posted on


推荐阅读
  • Zookeeper作为Apache Hadoop生态系统中的一个重要组件,主要致力于解决分布式应用中的常见数据管理难题。它提供了统一的命名服务、状态同步服务以及集群管理功能,有效提升了分布式系统的可靠性和可维护性。此外,Zookeeper还支持配置管理和临时节点管理,进一步增强了其在复杂分布式环境中的应用价值。 ... [详细]
  • 在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中,经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题,并提供了详细的解决方案,帮助读者避免常见的配置陷阱。通过这些经验分享,希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • 深入浅出:Hadoop架构详解
    Hadoop作为大数据处理的核心技术,包含了一系列组件如HDFS(分布式文件系统)、YARN(资源管理框架)和MapReduce(并行计算模型)。本文将通过实例解析Hadoop的工作原理及其优势。 ... [详细]
  • 初探Hadoop:第一章概览
    本文深入探讨了《Hadoop》第一章的内容,重点介绍了Hadoop的基本概念及其如何解决大数据处理中的关键挑战。 ... [详细]
  • 本文探讨了使用Python实现监控信息收集的方法,涵盖从基础的日志记录到复杂的系统运维解决方案,旨在帮助开发者和运维人员提升工作效率。 ... [详细]
  • 深入解析:存储技术的演变与发展
    本文探讨了从单机文件系统到分布式文件系统的存储技术发展过程,详细解释了各种存储模型及其特点。 ... [详细]
  • 本文介绍如何通过整合SparkSQL与Hive来构建高效的用户画像环境,提高数据处理速度和查询效率。 ... [详细]
  • 本文介绍了Hadoop的核心组件,包括高可靠性和高吞吐量的分布式文件系统HDFS、分布式的离线并行计算框架MapReduce、作业调度与集群资源管理框架YARN以及支持其他模块的工具模块Common。 ... [详细]
  • 大数据领域的职业路径与角色解析
    本文将深入探讨大数据领域的各种职业和工作角色,帮助读者全面了解大数据行业的需求、市场趋势,以及从入门到高级专业人士的职业发展路径。文章还将详细介绍不同公司对大数据人才的需求,并解析各岗位的具体职责、所需技能和经验。 ... [详细]
  • Hadoop的文件操作位于包org.apache.hadoop.fs里面,能够进行新建、删除、修改等操作。比较重要的几个类:(1)Configurati ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • Hadoop平台警告解决:无法加载本机Hadoop库的全面应对方案
    本文探讨了在Hadoop平台上遇到“无法加载本机Hadoop库”警告的多种解决方案。首先,通过修改日志配置文件来忽略该警告,这一方法被证明是有效的。其次,尝试指定本地库的路径,但未能解决问题。接着,尝试不使用Hadoop本地库,同样没有效果。然后,通过替换现有的Hadoop本地库,成功解决了问题。最后,根据Hadoop的源代码自行编译本地库,也达到了预期的效果。以上方法适用于macOS系统。 ... [详细]
  • 本文详细介绍了 `org.apache.hadoop.hdfs.server.namenode.FSNamesystem.shouldUseDelegationTokens()` 方法的用途和实际应用场景,并提供了多个代码示例以帮助开发者更好地理解和使用该方法。 ... [详细]
  • 通过马老师的视频学习了Java中的容器相关内容,包括Collection、Set、List、Map及其常见实现类,并深入了解了这些容器的基本操作方法。 ... [详细]
author-avatar
iuang
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有