摘要：本篇是本人在做一个大数据项目时，对于系统架构的一点总结，如何在保证存储量的情况下，又能保证数据的检索速度。...

前提&＃xff1a; Solr、SolrCloud提供了一整套的数据检索方案&＃xff0c;HBase提供了完善的大数据存储机制。
需求&＃xff1a; 1、对于添加到HBase中的结构化数据&＃xff0c;能够检索出来。

1.1一次性创建索引

l、删除全索引

效率很高&＃xff0c;可以关闭Solr后&＃xff0c;直接删除Data文件。

2、重新创建全索引

拉取HBase中全数据&＃xff0c;分批次创建索引。

1.2增量创建索引

1、触发器发送数据到Solr建索引。

配置并使用HBase触发器功能&＃xff0c;配置实现如下&＃xff1a;

alter &＃39;angelHbase&＃39;, METHOD &＃61;> &＃39;table_att&＃39;, &＃39;coprocessor&＃39; &＃61;> &＃39;/home/hbase/hbase-0.94.18-security/lib/solrHbase.jar|solrHbase.test.SorlIndexCoprocessorObserver|1073741823|&＃39;

alter &＃39;angelHbase&＃39;, METHOD &＃61;>&＃39;table_att_unset&＃39;, NAME &＃61;> &＃39;coprocessor$1&＃39;

然后编写SorlIndexCoprocessorObserver extendsBaseRegionObserver&＃xff0c;重写postPut方法。在postPut方法中&＃xff0c;需要正确地读出写入HBase的数据结构及数据&＃xff0c;然后转化为相应的SolrInputDocument&＃xff0c;再使用ConcurrentUpdateSolrServer方式向Solr服务器发送SolrInputDocument数据&＃xff0c;具体使用方法如之前博文介绍Solr的使用方法、性能对比所示。

注意&＃xff1a;需要把Solr相关的jar包放入lib下&＃xff0c;并且删除版本不一致的jar&＃xff08;有很多&＃xff09;。更新jar后要重启HBase才能生效。

具体性能如之前博文介绍Solr的使用方法、性能对比所示。http://www.cnblogs.com/wgp13x/p/3742653.htmlhttp://www.cnblogs.com/wgp13x/p/3748764.html

2、触发器发送数据到RabbitMQ&＃xff0c;Solr端从RabbitMQ获取数据建索引。

embedded方式官方不推荐使用。而使用ConcurrentUpdateSolrServer性能与上种方式并无区别。

3、建议&＃xff1a;

在HBase中只存储1列&＃xff0c;存储值为PB或Json串。&＃xff08;存在由bean到SolrInputDocument转化的类及annotation&＃xff0c;以及各自的压缩算法&＃xff09;

或者&＃xff1a;插入HBase的数据均以Bytes.toBytes(String)类型存储&＃xff0c;如long型数值2存储为Bytes.toBytes(""&＃43;2)。否则在postPut()中需要知道每列的具体类型才能生成正确的SolrInputDocument&＃xff0c;因为SolrInputDocument中需要的是String类型的数据。

具体的postPut方法代码&＃xff0c;如有需要可以留言或直接跟本人联系。http://www.cnblogs.com/wgp13x/

1.3HBase与Solr系统架构设计

使用HBase搭建结构数据存储云&＃xff0c;用来存储海量数据&＃xff1b;使用SolrCloud集群用来搭建搜索引擎&＃xff0c;将要查找的结构化数据的ID查找出来&＃xff0c;只配置它存储ID。

1、具体流程&＃xff1a;

wd代表用户write data写数据&＃xff0c;从用户提交写数据请求wd1开始&＃xff0c;经历wd2&＃xff0c;写入MySQL数据库&＃xff0c;或写入结构数据存储云中&＃xff0c;wd3&＃xff0c;提交到Solr集群中&＃xff0c;从而依据业务需求创建索引。

rd代表用户read data读数据&＃xff0c;从用户提交读数据请求rd1开始&＃xff0c;经历rd2&＃xff0c;直接读取MySQL中数据&＃xff0c;或向Solr集群请求搜索服务&＃xff0c;rd3&＃xff0c;向Solr集群请求得到的搜索结果为ID&＃xff0c;再向结构数据存储云中通过ID取出数据&＃xff0c;最后返回给用户结果。