热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

开发笔记:Hbase1.4.9的安装

本文由编程笔记#小编为大家整理,主要介绍了Hbase1.4.9的安装相关的知识,希望对你有一定的参考价值。 HBase介绍HBase&n
本文由编程笔记#小编为大家整理,主要介绍了Hbase1.4.9的安装相关的知识,希望对你有一定的参考价值。


 

HBase介绍

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据。

技术分享图片

上图描述了Hadoop EcoSystem中的各层系统,其中HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。

此外,Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。

把下载好的包 传到/home/hadoop/hbase 解压后:


[[email protected] hbase]$ ll
total
788
drwxr
-xr-x. 4 hadoop hadoop 4096 Dec 5 10:53 bin
-rw-r--r--. 1 hadoop hadoop 228302 Dec 5 10:58 CHANGES.txt
drwxr
-xr-x. 2 hadoop hadoop 4096 Dec 5 10:54 conf
drwxr
-xr-x. 12 hadoop hadoop 4096 Dec 5 11:53 docs
drwxr
-xr-x. 7 hadoop hadoop 4096 Dec 5 11:43 hbase-webapps
-rw-r--r--. 1 hadoop hadoop 261 Dec 5 11:56 LEGAL
drwxrwxr
-x. 3 hadoop hadoop 4096 Jan 8 11:10 lib
-rw-r--r--. 1 hadoop hadoop 143082 Dec 5 11:56 LICENSE.txt
-rw-r--r--. 1 hadoop hadoop 404470 Dec 5 11:56 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop 1477 Dec 5 10:53 README.txt

设置环境变量

[[email protected] master]# vi /etc/profile


export HBASE_HOME=/home/hadoop/hbase
export PATH
=$PATH:$HBASE_HOME/bin

[[email protected] master]# source /etc/profile

[[email protected] ~]$ hbase version
HBase 1.4.9
Source code repository git://apurtell-ltm4.internal.salesforce.com/Users/apurtell/src/hbase revision=d625b212e46d01cb17db9ac2e9e927fdb201afa1
Compiled by apurtell on Wed Dec  5 11:54:10 PST 2018
From source with checksum a7716fc1849b07ea6dd830a08291e754

编辑hbase-env.sh


#Java环境
export JAVA_HOME
=/usr/local/jdk1.8
#通过hadoop的配置文件找到hadoop集群
export HBASE_CLASSPATH
=/home/hadoop/hbase/conf
#使用HBASE自带的zookeeper管理集群
export HBASE_MANAGES_ZK
=true

编辑hbase-site.xml




hbase.rootdir #设置hbase数据库存放数据的目录
hdfs://192.168.1.30:9000/hbase


hbase.cluster.distributed #打开hbase分布模式
true


hbase.master #指定hbase集群主控节点
192.168.1.30:60000


hbase.zookeeper.quorum
master,saver1,saver2 #指定zookeeper集群节点名,因为是由zookeeper表决算法决定的


hbase.zookeeper.property.dataDir #指zookeeper集群data目录
/home/hadoop/hbase/temp/zookeeper


编辑regionservers


[[email protected] conf]$ vi regionservers
saver1
saver2

拷贝到其他节点:

scp -r hbase [email protected]:/home/hadoop
scp -r hbase [email protected]:/home/hadoop

启动:

start-hbase.sh


[[email protected] conf]$ start-hbase.sh
master: running zookeeper, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-zookeeper-master.out
saver1: running zookeeper, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-zookeeper-saver1.out
saver2: running zookeeper, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-zookeeper-saver2.out
running master, logging to
/home/hadoop/hbase/logs/hbase-hadoop-master-master.out
Java HotSpot(TM)
64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM)
64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
saver1: running regionserver, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-regionserver-saver1.out
saver2: running regionserver, logging to
/home/hadoop/hbase/bin/../logs/hbase-hadoop-regionserver-saver2.out
saver1: Java HotSpot(TM)
64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
saver1: Java HotSpot(TM)
64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
saver2: Java HotSpot(TM)
64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
saver2: Java HotSpot(TM)
64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

进入HBASE shell


[[email protected] conf]$ hbase shell
2019-01-08 12:12:30,900 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding
in [jar:file:/home/hadoop/hbase/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding
in [jar:file:/home/hadoop/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http:
//www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell
Use
"help" to get list of supported commands.
Use
"exit" to quit this interactive shell.
Version
1.4.9, rd625b212e46d01cb17db9ac2e9e927fdb201afa1, Wed Dec 5 11:54:10 PST 2018
hbase(main):
001:0>

未完成。。。

 


推荐阅读
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • Hadoop的分布式架构改进与应用
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • V8不仅是一款著名的八缸发动机,广泛应用于道奇Charger、宾利Continental GT和BossHoss摩托车中。自2008年以来,作为Chromium项目的一部分,V8 JavaScript引擎在性能优化和技术创新方面取得了显著进展。该引擎通过先进的编译技术和高效的垃圾回收机制,显著提升了JavaScript的执行效率,为现代Web应用提供了强大的支持。持续的优化和创新使得V8在处理复杂计算和大规模数据时表现更加出色,成为众多开发者和企业的首选。 ... [详细]
  • 第二章:Kafka基础入门与核心概念解析
    本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统,以其卓越的性能和高吞吐量而著称。最初,Kafka被设计用于LinkedIn的活动流和运营数据处理,旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景,读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]
  • PHP中元素的计量单位是什么? ... [详细]
  • 分布式一致性算法:Paxos 的企业级实战
    一、简介首先我们这个平台是ES专题技术的分享平台,众所周知,ES是一个典型的分布式系统。在工作和学习中,我们可能都已经接触和学习过多种不同的分布式系统了,各 ... [详细]
  • Hadoop——实验七:MapReduce编程实践
    文章目录一.实验目的二.实验内容三.实验步骤及结果分析 1.基于ubuntukylin14.04(7)版本,安装hadoop-eclipse-kepler-plugi ... [详细]
  • 阿里云大数据计算服务MaxCompute (原名 ODPS)
     MaxCompute是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute做了哪些工作,这些工作背后的原因是什 ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
  • 如何高效启动大数据应用之旅?
    在前一篇文章中,我探讨了大数据的定义及其与数据挖掘的区别。本文将重点介绍如何高效启动大数据应用项目,涵盖关键步骤和最佳实践,帮助读者快速踏上大数据之旅。 ... [详细]
  • 【并发编程】全面解析 Java 内存模型,一篇文章带你彻底掌握
    本文深入解析了 Java 内存模型(JMM),从基础概念到高级特性进行全面讲解,帮助读者彻底掌握 JMM 的核心原理和应用技巧。通过详细分析内存可见性、原子性和有序性等问题,结合实际代码示例,使开发者能够更好地理解和优化多线程并发程序。 ... [详细]
  • NoSQL数据库,即非关系型数据库,有时也被称作Not Only SQL,是一种区别于传统关系型数据库的管理系统。这类数据库设计用于处理大规模、高并发的数据存储与查询需求,特别适用于需要快速读写大量非结构化或半结构化数据的应用场景。NoSQL数据库通过牺牲部分一致性来换取更高的可扩展性和性能,支持分布式部署,能够有效应对互联网时代的海量数据挑战。 ... [详细]
  • 在分布式系统领域有个著名的CAP定理:C——数据一致性;A——服务可用性;P——服务对网络分区故障的容错性。这三个特性在任何分布式系统中不能同时满足,最多同时满足两个。Zookee ... [详细]
author-avatar
轻裘缓带531
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有