热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

Centos7安装HBase1.4的方法详解

​下面由centos入门教程栏目给大家介绍Centos7安装HBase1.4,希望对需要的朋友有所帮助!1、hadoop集群已安装,这里将在Centos7安装Hadoop2.7的基础上安装hbase1.4,所以是同样的三台机器,其规划
下面由centos入门教程栏目给大家介绍Centos7安装HBase1.4,希望对需要的朋友有所帮助!

准备

1、hadoop集群已安装,这里将在Centos7安装Hadoop2.7的基础上安装hbase1.4,所以是同样的三台机器,其规划如下:

hostnameIP地址部署规划
node1172.20.0.4Master、RegionServer
node2172.20.0.5Backup-Master、RegionServer
node3172.20.0.6RegionServer

2、官网下载安装包:hbase-1.4.12-bin.tar.gz(推荐去清华大学或中科大的开源镜像站)。

3、hbase将部署在三台都已存在的路径/mydata,配置环境变量:

export HBASE_HOME=/mydata/hbase-1.4.12export PATH=${HBASE_HOME}/bin:$PATH

配置

先在node1上修改hbase的配置,完成后再统一复制到其他节点,保证配置内容一致。

解压hbase-1.4.12-bin.tar.gz到/mydata/,进入/mydata/hbase-1.4.12/conf,进行配置:


  
    hbase.cluster.distributed
    true
  
  
    hbase.rootdir
    hdfs://node1:9000/hbase
  
  
    hbase.zookeeper.quorum
    node1,node2,node3
  
  
    hbase.zookeeper.property.dataDir
    /mydata/data/zookeeper
  
# 文件名 regionserversnode1
node2
node3
# 文件名 backup-masters 该文件需要新建node2
配置项含义
hbase.cluster.distributed
分布式模式
hbase.rootdir
hbase的数据存储位置,这里为hdfs的/hbase,host:port对应hadoop配置中的fs.defaultFS
hbase.zookeeper.quorum
所有要部署zookeeper的host,通常三台以上吧,最多当然可以每一台都部署
hbase.zookeeper.property.dataDir
zookeeper运行时的数据存储位置
regionservers
所有RegionServer,通常部署到每一台DataNode上
backup-masters
作为备份的Master

注:这里的zookeeper使用hbase自带的,当然也可以用外部已存在的,这里就不提了。

默认日志目录在$HBASE_HOME/logs,pid文件在/tmp,可以进行修改:

# 文件名 hbase-env.shexport HBASE_LOG_DIR=/mydata/logs/hbase
export HBASE_PID_DIR=/mydata/data/pid

配置完成后将hbase程序文件拷贝到其他两台:

node1> scp -r /mydata/hbase-1.4.12/ root@node2:/mydata/node1> scp -r /mydata/hbase-1.4.12/ root@node3:/mydata/

启动

node1> start-hbase.sh
node1上用jps命令验证进程HMaster、HRegionServer、HQuorumPeer
node2上用jps命令验证进程HMaster、HRegionServer、HQuorumPeer
node3上用jps命令验证进程HRegionServer、HQuorumPeer

注:HQuorumPeer为zookeeper的进程,不部署zookeeper的节点没有它;若用外部zookeeper则进程名变为QuorumPeerMain。

测试

通过浏览器可以访问以下地址:

Master的后台http://node1:16010

RegionServer的后台

http://node1:16030

http://node2:16030

http://node3:16030

访问前者可以看到:

下面执行一个官方示例(下面的命令可以在任意一台部署了hbase的机器上执行):

node> hbase shell
hbase> create 'test', 'cf'
hbase> list 'test'
hbase> describe 'test'
hbase> put 'test', 'row1', 'cf:a', 'value1'
hbase> put 'test', 'row2', 'cf:b', 'value2'
hbase> put 'test', 'row3', 'cf:c', 'value3'
hbase> scan 'test'
hbase> get 'test', 'row1'

可以在浏览器中看到这个表的信息:http://node1:16010/table.jsp?name=test。

over

以上就是Centos7安装HBase1.4的方法详解的详细内容,更多请关注其它相关文章!


推荐阅读
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • Zookeeper作为Apache Hadoop生态系统中的一个重要组件,主要致力于解决分布式应用中的常见数据管理难题。它提供了统一的命名服务、状态同步服务以及集群管理功能,有效提升了分布式系统的可靠性和可维护性。此外,Zookeeper还支持配置管理和临时节点管理,进一步增强了其在复杂分布式环境中的应用价值。 ... [详细]
  • 构建高可用性Spark分布式集群:大数据环境下的最佳实践
    在构建高可用性的Spark分布式集群过程中,确保所有节点之间的无密码登录是至关重要的一步。通过在每个节点上生成SSH密钥对(使用 `ssh-keygen -t rsa` 命令并保持默认设置),可以实现这一目标。此外,还需将生成的公钥分发到所有节点的 `~/.ssh/authorized_keys` 文件中,以确保节点间的无缝通信。为了进一步提升集群的稳定性和性能,建议采用负载均衡和故障恢复机制,并定期进行系统监控和维护。 ... [详细]
  • 在分布式系统领域有个著名的CAP定理:C——数据一致性;A——服务可用性;P——服务对网络分区故障的容错性。这三个特性在任何分布式系统中不能同时满足,最多同时满足两个。Zookee ... [详细]
  • 本文介绍了Hadoop的核心组件,包括高可靠性和高吞吐量的分布式文件系统HDFS、分布式的离线并行计算框架MapReduce、作业调度与集群资源管理框架YARN以及支持其他模块的工具模块Common。 ... [详细]
  • Hadoop的文件操作位于包org.apache.hadoop.fs里面,能够进行新建、删除、修改等操作。比较重要的几个类:(1)Configurati ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • Hadoop平台警告解决:无法加载本机Hadoop库的全面应对方案
    本文探讨了在Hadoop平台上遇到“无法加载本机Hadoop库”警告的多种解决方案。首先,通过修改日志配置文件来忽略该警告,这一方法被证明是有效的。其次,尝试指定本地库的路径,但未能解决问题。接着,尝试不使用Hadoop本地库,同样没有效果。然后,通过替换现有的Hadoop本地库,成功解决了问题。最后,根据Hadoop的源代码自行编译本地库,也达到了预期的效果。以上方法适用于macOS系统。 ... [详细]
  • Kafka 是由 Apache 软件基金会开发的高性能分布式消息系统,支持高吞吐量的发布和订阅功能,主要使用 Scala 和 Java 编写。本文将深入解析 Kafka 的安装与配置过程,为程序员提供详尽的操作指南,涵盖从环境准备到集群搭建的每一个关键步骤。 ... [详细]
  • 第二章:Kafka基础入门与核心概念解析
    本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统,以其卓越的性能和高吞吐量而著称。最初,Kafka被设计用于LinkedIn的活动流和运营数据处理,旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景,读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]
  • 在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中,经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题,并提供了详细的解决方案,帮助读者避免常见的配置陷阱。通过这些经验分享,希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ... [详细]
  • HBase在金融大数据迁移中的应用与挑战
    随着最后一台设备的下线,标志着超过10PB的HBase数据迁移项目顺利完成。目前,新的集群已在新机房稳定运行超过两个月,监控数据显示,新集群的查询响应时间显著降低,系统稳定性大幅提升。此外,数据消费的波动也变得更加平滑,整体性能得到了显著优化。 ... [详细]
  • 本文详细介绍了HDFS的基础知识及其数据读写机制。首先,文章阐述了HDFS的架构,包括其核心组件及其角色和功能。特别地,对NameNode进行了深入解析,指出其主要负责在内存中存储元数据、目录结构以及文件块的映射关系,并通过持久化方案确保数据的可靠性和高可用性。此外,还探讨了DataNode的角色及其在数据存储和读取过程中的关键作用。 ... [详细]
  • 分布式一致性算法:Paxos 的企业级实战
    一、简介首先我们这个平台是ES专题技术的分享平台,众所周知,ES是一个典型的分布式系统。在工作和学习中,我们可能都已经接触和学习过多种不同的分布式系统了,各 ... [详细]
  • 数据读取hadoopFileParameters:path–pathtoHadoopfileinputFormatClass–fullyqualifiedclassnameo ... [详细]
author-avatar
听天由命____497
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有