热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

hbase1.2.3集群搭建

2019独角兽企业重金招聘Python工程师标准机器规划:主机名IP安装的软件运行的进程Hadoop1192.168.111.143jdk、hadoopName

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

26144327_Dslk.jpg
  • 机器规划:

主机名    IP                 安装的软件             运行的进程Hadoop1  192.168.111.143  jdk、hadoop         NameNode、DFSZKFailoverController(zkfc)、ResourceManager、HMasterHadoop2  192.168.111.144  jdk、hadoop         NameNode、DFSZKFailoverController(zkfc)、ResourceManager、HMasterHadoop3  192.168.111.145  jdk、hadoop、zookeeper    DataNode、NodeManager、JournalNode、QuorumPeerMain、HRegionServerHadoop4  192.168.111.146  jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain、HRegionServer
Hadoop5  192.168.111.147  jdk、hadoop、zookeeper    DataNode、NodeManager、JournalNode、QuorumPeerMain、HRegionServer

 

在正确启动hadoop集群的同时进行配置

首先在拥有namenode的主机上修改配置(hadoop1),在hbase解压目录的conf目录下进行

  • 修改配置文件

hbase-env.sh:

export JAVA_HOME=/home/hbase/jdk/jdk1.7.0_79

#不使用hbase内部的zookeeper

export HBASE_MANAGES_ZK=false

hbase-site.xml:

hbase.rootdirhdfs://ns1/hbasehbase.cluster.distributedtruehbase.zookeeper.quorumhadoop3:2181, hadoop4:2181, hadoop5:2181

regionservers:

hadoop3hadoop4hadoop5

注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

  • 启动

在hadoop1上启动

./start-hbase.sh

hadoop2上启动:

./hbase-daemon.sh start master –backup

由于在hadoop1上已经启动了Hmaster,在hadoop2上启动时hadoop2的master为空闲模式

192.168.111.143:16010

查看进程和web界面

启动进程

133544_RkZv_2493676.png

hadoop1与hadoop2的进程一样

133553_hneM_2493676.png

hadoop4、hadoop5与hadoop3的进程是一样的。

Web界面

133559_1qGL_2493676.png

HA测试

如果kill掉hadoop1的master,hadoop2的master马上接管主节点的任务

133608_fXwr_2493676.png

 


转:https://my.oschina.net/lzhaoqiang/blog/775935



推荐阅读
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • HBase Java API 进阶:过滤器详解与应用实例
    本文详细探讨了HBase 1.2.6版本中Java API的高级应用,重点介绍了过滤器的使用方法和实际案例。首先,文章对几种常见的HBase过滤器进行了概述,包括列前缀过滤器(ColumnPrefixFilter)和时间戳过滤器(TimestampsFilter)。此外,还详细讲解了分页过滤器(PageFilter)的实现原理及其在大数据查询中的应用场景。通过具体的代码示例,读者可以更好地理解和掌握这些过滤器的使用技巧,从而提高数据处理的效率和灵活性。 ... [详细]
  • 本文详细介绍了 Java 网站开发的相关资源和步骤,包括常用网站、开发环境和框架选择。 ... [详细]
  • 2020年9月15日,Oracle正式发布了最新的JDK 15版本。本次更新带来了许多新特性,包括隐藏类、EdDSA签名算法、模式匹配、记录类、封闭类和文本块等。 ... [详细]
  • 为什么多数程序员难以成为架构师?
    探讨80%的程序员为何难以晋升为架构师,涉及技术深度、经验积累和综合能力等方面。本文将详细解析Tomcat的配置和服务组件,帮助读者理解其内部机制。 ... [详细]
  • com.sun.javadoc.PackageDoc.exceptions()方法的使用及代码示例 ... [详细]
  • Spark与HBase结合处理大规模流量数据结构设计
    本文将详细介绍如何利用Spark和HBase进行大规模流量数据的分析与处理,包括数据结构的设计和优化方法。 ... [详细]
  • 本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件,并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]
  • 为了在Hadoop 2.7.2中实现对Snappy压缩和解压功能的原生支持,本文详细介绍了如何重新编译Hadoop源代码,并优化其Native编译过程。通过这一优化,可以显著提升数据处理的效率和性能。此外,还探讨了编译过程中可能遇到的问题及其解决方案,为用户提供了一套完整的操作指南。 ... [详细]
  • 在List和Set集合中存储Object类型的数据元素 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • 本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤,包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践,涵盖节点选择、网络优化和性能调优等方面,旨在提升系统的稳定性和处理能力。此外,还提供了常见的故障排查方法和监控方案,帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]
  • 第二章:Kafka基础入门与核心概念解析
    本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统,以其卓越的性能和高吞吐量而著称。最初,Kafka被设计用于LinkedIn的活动流和运营数据处理,旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景,读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]
  • 如何高效启动大数据应用之旅?
    在前一篇文章中,我探讨了大数据的定义及其与数据挖掘的区别。本文将重点介绍如何高效启动大数据应用项目,涵盖关键步骤和最佳实践,帮助读者快速踏上大数据之旅。 ... [详细]
  • 在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中,经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题,并提供了详细的解决方案,帮助读者避免常见的配置陷阱。通过这些经验分享,希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ... [详细]
author-avatar
岩蕃wy之人
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有