首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

SpringBoot整合Hbase的实现示例

作者：Christy-1221 | 来源：互联网 | 2022-03-02 02:48
这篇文章主要介绍了SpringBoot整合Hbase的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

简介

当单表数据量过大的时候，关系性数据库会出现性能瓶颈，这时候我们就可以用NoSql，比如Hbase就是一个不错的解决方案。接下来是用Spring整合Hbase的实际案例，且在最后会给出整合中可能会出现的问题，以及解决方案。这里我是用本地Windows的IDEA，与局域网的伪分布Hbase集群做的连接，其中Hbase集群包括的组件有：Jdk1.8、Hadoop2.7.6、ZooKeeper3.4.10、Hbase2.0.1，因为这里只是开发环境，所以做一个伪分布的就好，之后部署的时候再按生产环境要求来即可

整合步骤

目录结构

在这里插入图片描述

pom.xml

这里要导入Hbase连接所需要包，需要找和你Hbase版本一致的包


 org.apache.hbase
 hbase-client
 2.0.1

hbase-site.xml

我是用的配置文件连接方法，这个配置文件你在hbase的安装目录下的conf目录就可以找到，然后你直接把它复制到项目的resources目录下就好，当然你也可以用application.properties配置文件外加注入和代码的方式代替这个配置文件

HBaseConfig.java

这里因为只需连接Hbase就没连接Hadoop，如果要连接Hadoop，Windows下还要下载winutils.exe工具，后面会介绍

@Configuration
public class HBaseConfig {
 @Bean
 public HBaseService getHbaseService() {
  //设置临时的hadoop环境变量，之后程序会去这个目录下的\bin目录下找winutils.exe工具，windows连接hadoop时会用到
  //System.setProperty("hadoop.home.dir", "D:\\Program Files\\Hadoop");
  //执行此步时，会去resources目录下找相应的配置文件，例如hbase-site.xml
  org.apache.hadoop.conf.Configuration cOnf= HBaseConfiguration.create();
  return new HBaseService(conf);
 }
}

HBaseService.java

这是做连接后的一些操作可以参考之后自己写一下

public class HBaseService {
 private Logger log = LoggerFactory.getLogger(HBaseService.class);
 /**
  * 管理员可以做表以及数据的增删改查功能
  */
 private Admin admin = null;
 private Connection cOnnection= null;
 public HBaseService(Configuration conf) {
  try {
   cOnnection= ConnectionFactory.createConnection(conf);
   admin = connection.getAdmin();
  } catch (IOException e) {
   log.error("获取HBase连接失败!");
  }
 }
 /**
  * 创建表 create , {NAME => , VERSIOnS=> }
  */
 public boolean creatTable(String tableName, List columnFamily) {
  try {
   //列族column family
   List cfDesc = new ArrayList<>(columnFamily.size());
   columnFamily.forEach(cf -> {
    cfDesc.add(ColumnFamilyDescriptorBuilder.newBuilder(
      Bytes.toBytes(cf)).build());
   });
   //表 table
   TableDescriptor tableDesc = TableDescriptorBuilder
     .newBuilder(TableName.valueOf(tableName))
     .setColumnFamilies(cfDesc).build();
   if (admin.tableExists(TableName.valueOf(tableName))) {
    log.debug("table Exists!");
   } else {
    admin.createTable(tableDesc);
    log.debug("create table Success!");
   }
  } catch (IOException e) {
   log.error(MessageFormat.format("创建表{0}失败", tableName), e);
   return false;
  } finally {
   close(admin, null, null);
  }
  return true;
 }
 /**
  * 查询所有表的表名
  */
 public List getAllTableNames() {
  List result = new ArrayList<>();
  try {
   TableName[] tableNames = admin.listTableNames();
   for (TableName tableName : tableNames) {
    result.add(tableName.getNameAsString());
   }
  } catch (IOException e) {
   log.error("获取所有表的表名失败", e);
  } finally {
   close(admin, null, null);
  }
  return result;
 }
 /**
  * 遍历查询指定表中的所有数据
  */
 public Map> getResultScanner(String tableName) {
  Scan scan = new Scan();
  return this.queryData(tableName, scan);
 }
 /**
  * 通过表名及过滤条件查询数据
  */
 private Map> queryData(String tableName, Scan scan) {
  // 
  Map> result = new HashMap<>();
  ResultScanner rs = null;
  //获取表
  Table table = null;
  try {
   table = getTable(tableName);
   rs = table.getScanner(scan);
   for (Result r : rs) {
    // 每一行数据
    Map columnMap = new HashMap<>();
    String rowKey = null;
    // 行键，列族和列限定符一起确定一个单元（Cell）
    for (Cell cell : r.listCells()) {
     if (rowKey == null) {
      rowKey = Bytes.toString(cell.getRowArray(), cell.getRowOffset(), cell.getRowLength());
     }
     columnMap.put(
       //列限定符
       Bytes.toString(cell.getQualifierArray(), cell.getQualifierOffset(), cell.getQualifierLength()),
       //列族
       Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength()));
    }
    if (rowKey != null) {
     result.put(rowKey, columnMap);
    }
   }
  } catch (IOException e) {
   log.error(MessageFormat.format("遍历查询指定表中的所有数据失败,tableName:{0}", tableName), e);
  } finally {
   close(null, rs, table);
  }
  return result;
 }
 /**
  * 为表添加或者更新数据
  */
 public void putData(String tableName, String rowKey, String familyName, String[] columns, String[] values) {
  Table table = null;
  try {
   table = getTable(tableName);
   putData(table, rowKey, tableName, familyName, columns, values);
  } catch (Exception e) {
   log.error(MessageFormat.format("为表添加 or 更新数据失败,tableName:{0},rowKey:{1},familyName:{2}", tableName, rowKey, familyName), e);
  } finally {
   close(null, null, table);
  }
 }
 private void putData(Table table, String rowKey, String tableName, String familyName, String[] columns, String[] values) {
  try {
   //设置rowkey
   Put put = new Put(Bytes.toBytes(rowKey));
   if (columns != null && values != null && columns.length == values.length) {
    for (int i = 0; i 


HBaseApplicationTests.java




@RunWith(SpringJUnit4ClassRunner.class)
@SpringBootTest
class HBaseApplicationTests {
 @Resource
 private HBaseService hbaseService;
 //测试创建表
 @Test
 public void testCreateTable() {
  hbaseService.creatTable("test_base", Arrays.asList("a", "back"));
 }
 //测试加入数据
 @Test
 public void testPutData() {
  hbaseService.putData("test_base", "000001", "a", new String[]{
    "project_id", "varName", "coefs", "pvalues", "tvalues",
    "create_time"}, new String[]{"40866", "mob_3", "0.9416",
    "0.0000", "12.2293", "null"});
  hbaseService.putData("test_base", "000002", "a", new String[]{
    "project_id", "varName", "coefs", "pvalues", "tvalues",
    "create_time"}, new String[]{"40866", "idno_prov", "0.9317",
    "0.0000", "9.8679", "null"});
  hbaseService.putData("test_base", "000003", "a", new String[]{
    "project_id", "varName", "coefs", "pvalues", "tvalues",
    "create_time"}, new String[]{"40866", "education", "0.8984",
    "0.0000", "25.5649", "null"});
 }
 //测试遍历全表
 @Test
 public void testGetResultScanner() {
  Map> result2 = hbaseService.getResultScanner("test_base");
  System.out.println("-----遍历查询全表内容-----");
  result2.forEach((k, value) -> {
   System.out.println(k + "--->" + value);
  });
 }
}




运行结果


Hbase数据库查询结果




在这里插入图片描述


IDEA的遍历结果




在这里插入图片描述


报错与解决方案


报错一


在这里插入图片描述


解决方案：


这是参数配置的有问题，如果你是用hbase-site.xml配置文件配置的参数，那么检查它，用代码配置就检查代码参数


报错二


在这里插入图片描述


解决方案：


更改windows本地hosts文件，C:\Windows\System32\drivers\etc\hosts,添加Hbase服务所在主机地址与主机名称，这里你如果保存不了hosts文件，把它拉出到桌面改好再拉回即可


报错三


在这里插入图片描述


解决方案：


这是因为在Windows下连接Hadoop需要一个叫Winutils.exe的工具，并且从源代码可知，它会去读你Windows下的环境变量，如果你不想在本地设置，可以用方法System.setProperty()设置实时环境变量，另外，如果你只用Hbase，其实这个报错并不影响你使用Hbase服务


代码地址


https://github.com/xiaoxiamo/SpringBoot_HBase


到此这篇关于SpringBoot整合Hbase的实现示例的文章就介绍到这了,更多相关SpringBoot整合Hbase内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！

                            
                                    

        
        
    


    

        
    




    

    

        
推荐阅读

        

            
    
                                
  • 
                    
    
                        git
                        
    Hadoop 2.6 日志文件解析与MapReduce日志管理深入探讨
    
                    
    

                    
    
                                                
    
                        Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成，其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法，并详细介绍了 MapReduce 日志管理的最佳实践，旨在帮助用户更好地理解和优化日志处理流程，提高系统运维效率。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        sql
                        
    com.sun.javadoc.PackageDoc.exceptions()方法的使用及代码示例
    
                    
    

                    
    
                                                
    
                        com.sun.javadoc.PackageDoc.exceptions()方法的使用及代码示例 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                                
  • 
                    
    
                    
                
    • 
                
                                
  • 
                    
    
                        redis
                        
    .NET Core 2.* 开发者指南：全面学习与实践手册
    
                    
    

                    
    
                                                
    
                        本书《.NET Core 2.* 开发者指南》是面向开发者的全面学习与实践手册，涵盖了从基础到高级的各个层面。书中详细解析了 .NET Core 的核心概念，包括如何创建 .NET Core 网站，并通过视频教程直观展示操作过程。此外，还深入探讨了 Startup 类的作用、项目目录结构的组织方式以及如何在应用中使用静态文件等内容。对于希望深入了解 .NET Core 架构和开发技巧的开发者来说，本书提供了丰富的实践案例和详尽的技术指导。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        数据库
                        
    PHP 行为日志记录详解
    
                    
    

                    
    
                                                
    
                        本文详细介绍了如何在PHP中记录和管理行为日志，包括ThinkPHP框架中的日志记录方法、日志的用途、实现原理以及相关配置。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        数据库
                        
    Hadoop平台警告解决：无法加载本机Hadoop库的全面应对方案
    
                    
    

                    
    
                                                
    
                            Hadoop平台警告解决：无法加载本机Hadoop库的全面应对方案
                        
    
                                                
    
                        本文探讨了在Hadoop平台上遇到“无法加载本机Hadoop库”警告的多种解决方案。首先，通过修改日志配置文件来忽略该警告，这一方法被证明是有效的。其次，尝试指定本地库的路径，但未能解决问题。接着，尝试不使用Hadoop本地库，同样没有效果。然后，通过替换现有的Hadoop本地库，成功解决了问题。最后，根据Hadoop的源代码自行编译本地库，也达到了预期的效果。以上方法适用于macOS系统。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        sql
                        
    Apache Hadoop HDFS QJournalProtocol 中 getJournalCTime 方法的应用与代码实例分析
    
                    
    

                    
    
                                                
    
                        Apache Hadoop HDFS QJournalProtocol 中 getJournalCTime 方法的应用与代码实例分析 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        sql
                        
    Kafka 集群的高效部署与优化策略
    
                    
    

                    
    
                                                
    
                        本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤，包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践，涵盖节点选择、网络优化和性能调优等方面，旨在提升系统的稳定性和处理能力。此外，还提供了常见的故障排查方法和监控方案，帮助运维人员更好地管理和维护 Kafka 集群。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        hbase
                        
    HBase Java API 进阶：过滤器详解与应用实例
    
                    
    

                    
    
                                                
    
                            HBase Java API 进阶：过滤器详解与应用实例
                        
    
                                                
    
                        本文详细探讨了HBase 1.2.6版本中Java API的高级应用，重点介绍了过滤器的使用方法和实际案例。首先，文章对几种常见的HBase过滤器进行了概述，包括列前缀过滤器（ColumnPrefixFilter）和时间戳过滤器（TimestampsFilter）。此外，还详细讲解了分页过滤器（PageFilter）的实现原理及其在大数据查询中的应用场景。通过具体的代码示例，读者可以更好地理解和掌握这些过滤器的使用技巧，从而提高数据处理的效率和灵活性。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        hbase
                        
    Zookeeper在Hadoop生态系统中的关键作用与应用分析
    
                    
    

                    
    
                                                
    
                        Zookeeper作为Apache Hadoop生态系统中的一个重要组件，主要致力于解决分布式应用中的常见数据管理难题。它提供了统一的命名服务、状态同步服务以及集群管理功能，有效提升了分布式系统的可靠性和可维护性。此外，Zookeeper还支持配置管理和临时节点管理，进一步增强了其在复杂分布式环境中的应用价值。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        hbase
                        
    Hadoop集群搭建常见问题与解决方案（一）：避免配置过程中的常见陷阱
    
                    
    

                    
    
                                                
    
                        在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中，经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题，并提供了详细的解决方案，帮助读者避免常见的配置陷阱。通过这些经验分享，希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        hbase
                        
    构建高可用性Spark分布式集群：大数据环境下的最佳实践
    
                    
    

                    
    
                                                
    
                            构建高可用性Spark分布式集群：大数据环境下的最佳实践
                        
    
                                                
    
                        在构建高可用性的Spark分布式集群过程中，确保所有节点之间的无密码登录是至关重要的一步。通过在每个节点上生成SSH密钥对（使用 `ssh-keygen -t rsa` 命令并保持默认设置），可以实现这一目标。此外，还需将生成的公钥分发到所有节点的 `~/.ssh/authorized_keys` 文件中，以确保节点间的无缝通信。为了进一步提升集群的稳定性和性能，建议采用负载均衡和故障恢复机制，并定期进行系统监控和维护。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        hbase
                        
    HBase客户端Table类中getRpcTimeout方法的应用与编程实例解析
    
                    
    

                    
    
                                                
    
                        HBase客户端Table类中getRpcTimeout方法的应用与编程实例解析 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        mysql
                        
    技术日志：深入探讨Spark Streaming与Spark SQL的融合应用
    
                    
    

                    
    
                                                
    
                            技术日志：深入探讨Spark Streaming与Spark SQL的融合应用
                        
    
                                                
    
                        技术日志：深入探讨Spark Streaming与Spark SQL的融合应用 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        hbase
                        
    在Linux系统中配置环境变量以切换不同版本Python的方法与实践
    
                    
    

                    
    
                                                
    
                        在Linux系统中，原本已安装了多个版本的Python 2，并且还安装了Anaconda，其中包含了Python 3。本文详细介绍了如何通过配置环境变量，使系统默认使用指定版本的Python，以便在不同版本之间轻松切换。此外，文章还提供了具体的实践步骤和注意事项，帮助用户高效地管理和使用不同版本的Python环境。 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                                
  • 
                    
    
                        mysql
                        
    Linux学习精华：程序管理、终端种类与命令帮助获取方法综述
    
                    
    

                    
    
                                                
    
                        Linux学习精华：程序管理、终端种类与命令帮助获取方法综述 ...
                        [详细]
                    
    
                    
    

                    

                
    • 

                
                
                                
  • 
                    
                    
                    
                
    • 
                

            

        

    




















    


    

        

            
            

                
                author-avatar
            


            

                Christy-1221            


            

                这个家伙很懒，什么也没留下！            



        

    


    

    

    
    

    

        
Tags | 热门标签

        

            
        

    


    
    

        

            

            

        

        
RankList | 热门文章

        

            
        

    

    

    





    PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具  | 在线工具

    Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved  |   京公网安备 11010802041100号  |  京ICP备19059560号-4 | PHP1.CN 第一PHP社区      版权所有