热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

开发笔记:Hbase1.4.9的安装

本文由编程笔记#小编为大家整理,主要介绍了Hbase1.4.9的安装相关的知识,希望对你有一定的参考价值。 HBase介绍HBase&n
本文由编程笔记#小编为大家整理,主要介绍了Hbase1.4.9的安装相关的知识,希望对你有一定的参考价值。


 

HBase介绍

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据。

技术分享图片

上图描述了Hadoop EcoSystem中的各层系统,其中HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。

此外,Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。

把下载好的包 传到/home/hadoop/hbase 解压后:


[[email protected] hbase]$ ll
total
788
drwxr
-xr-x. 4 hadoop hadoop 4096 Dec 5 10:53 bin
-rw-r--r--. 1 hadoop hadoop 228302 Dec 5 10:58 CHANGES.txt
drwxr
-xr-x. 2 hadoop hadoop 4096 Dec 5 10:54 conf
drwxr
-xr-x. 12 hadoop hadoop 4096 Dec 5 11:53 docs
drwxr
-xr-x. 7 hadoop hadoop 4096 Dec 5 11:43 hbase-webapps
-rw-r--r--. 1 hadoop hadoop 261 Dec 5 11:56 LEGAL
drwxrwxr
-x. 3 hadoop hadoop 4096 Jan 8 11:10 lib
-rw-r--r--. 1 hadoop hadoop 143082 Dec 5 11:56 LICENSE.txt
-rw-r--r--. 1 hadoop hadoop 404470 Dec 5 11:56 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop 1477 Dec 5 10:53 README.txt

设置环境变量

[[email protected] master]# vi /etc/profile


export HBASE_HOME=/home/hadoop/hbase
export PATH
=$PATH:$HBASE_HOME/bin

[[email protected] master]# source /etc/profile

[[email protected] ~]$ hbase version
HBase 1.4.9
Source code repository git://apurtell-ltm4.internal.salesforce.com/Users/apurtell/src/hbase revision=d625b212e46d01cb17db9ac2e9e927fdb201afa1
Compiled by apurtell on Wed Dec  5 11:54:10 PST 2018
From source with checksum a7716fc1849b07ea6dd830a08291e754

编辑hbase-env.sh


#Java环境
export JAVA_HOME
=/usr/local/jdk1.8
#通过hadoop的配置文件找到hadoop集群
export HBASE_CLASSPATH
=/home/hadoop/hbase/conf
#使用HBASE自带的zookeeper管理集群
export HBASE_MANAGES_ZK
=true

编辑hbase-site.xml




hbase.rootdir #设置hbase数据库存放数据的目录
hdfs://192.168.1.30:9000/hbase


hbase.cluster.distributed #打开hbase分布模式
true


hbase.master #指定hbase集群主控节点
192.168.1.30:60000


hbase.zookeeper.quorum
master,saver1,saver2 #指定zookeeper集群节点名,因为是由zookeeper表决算法决定的


hbase.zookeeper.property.dataDir #指zookeeper集群data目录
/home/hadoop/hbase/temp/zookeeper


编辑regionservers


[[email protected] conf]$ vi regionservers
saver1
saver2

拷贝到其他节点:

scp -r hbase [email protected]:/home/hadoop
scp -r hbase [email protected]:/home/hadoop

启动:

start-hbase.sh


[[email protected] conf]$ start-hbase.sh
master: running zookeeper, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-zookeeper-master.out
saver1: running zookeeper, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-zookeeper-saver1.out
saver2: running zookeeper, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-zookeeper-saver2.out
running master, logging to
/home/hadoop/hbase/logs/hbase-hadoop-master-master.out
Java HotSpot(TM)
64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM)
64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
saver1: running regionserver, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-regionserver-saver1.out
saver2: running regionserver, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-regionserver-saver2.out
saver1: Java HotSpot(TM)
64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
saver1: Java HotSpot(TM)
64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
saver2: Java HotSpot(TM)
64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
saver2: Java HotSpot(TM)
64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

进入HBASE shell


[[email protected] conf]$ hbase shell
2019-01-08 12:12:30,900 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding
in [jar:file:/home/hadoop/hbase/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding
in [jar:file:/home/hadoop/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http:
//www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell
Use
"help" to get list of supported commands.
Use
"exit" to quit this interactive shell.
Version
1.4.9, rd625b212e46d01cb17db9ac2e9e927fdb201afa1, Wed Dec 5 11:54:10 PST 2018
hbase(main):
001:0>

未完成。。。

 


推荐阅读
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 本文介绍了数据库的存储结构及其重要性,强调了关系数据库范例中将逻辑存储与物理存储分开的必要性。通过逻辑结构和物理结构的分离,可以实现对物理存储的重新组织和数据库的迁移,而应用程序不会察觉到任何更改。文章还展示了Oracle数据库的逻辑结构和物理结构,并介绍了表空间的概念和作用。 ... [详细]
  • 本文介绍了Hyperledger Fabric外部链码构建与运行的相关知识,包括在Hyperledger Fabric 2.0版本之前链码构建和运行的困难性,外部构建模式的实现原理以及外部构建和运行API的使用方法。通过本文的介绍,读者可以了解到如何利用外部构建和运行的方式来实现链码的构建和运行,并且不再受限于特定的语言和部署环境。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • 如何在mysqlshell命令中执行sql命令行本文介绍MySQL8.0shell子模块Util的两个导入特性importTableimport_table(JS和python版本 ... [详细]
  • 【转】腾讯分析系统架构解析
    TA(TencentAnalytics,腾讯分析)是一款面向第三方站长的免费网站分析系统,在数据稳定性、及时性方面广受站长好评,其秒级的实时数据更新频率也获得业界的认可。本文将从实 ... [详细]
  • 本文详细介绍了SQL日志收缩的方法,包括截断日志和删除不需要的旧日志记录。通过备份日志和使用DBCC SHRINKFILE命令可以实现日志的收缩。同时,还介绍了截断日志的原理和注意事项,包括不能截断事务日志的活动部分和MinLSN的确定方法。通过本文的方法,可以有效减小逻辑日志的大小,提高数据库的性能。 ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • 本文详细介绍了MysqlDump和mysqldump进行全库备份的相关知识,包括备份命令的使用方法、my.cnf配置文件的设置、binlog日志的位置指定、增量恢复的方式以及适用于innodb引擎和myisam引擎的备份方法。对于需要进行数据库备份的用户来说,本文提供了一些有价值的参考内容。 ... [详细]
  • 使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]
  • ZooKeeper 学习
    前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗?如果别人面试官让你给他讲讲ZooKeeper是个什么东西, ... [详细]
  • Maven构建Hadoop,
    Maven构建Hadoop工程阅读目录序Maven安装构建示例下载系列索引 序  上一篇,我们编写了第一个MapReduce,并且成功的运行了Job,Hadoop1.x是通过ant ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
  • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
author-avatar
轻裘缓带531
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有