solr程序设计

solr程序实现说明

总述：solr程序主要任务是从数据库中读取源数据，然后在solr中建立索引，供快速查询使用。

程序的实现原理图如下：

                                       图1

                                  图 2

上面两个图描述了solr程序的主要流程，图1描述建立索引的主要过程，而图2描述了定时器每天删除索引的主要过程。注意上面两个图描述的是主要过程，而过程中还有一些细节没有在图中表现出来，需要结合代码熟悉过程。

程序的实现基本设计：

1） 建立索引过程思想：

首先要理解数据库中的逻辑表和物理表之间的关系，以及数据库是如何分表，这些问题是数据库设计者实现的，可请教测试人员或老员工，在此省略。Solr程序为了记录建立索引的进程，需要建立一张SOLR_WORK_PROCESS表，用以记录有哪些物理表需要建立索引，以及每一张物理表建立索引的进度也就是偏移量。数据库中表     LOGICAL_TABLE_MAPPING记录了有哪些物理表需要建立索引，所以solr程序首先从LOGICAL_TABLE_MAPPING中把需要建立索引的物理表记录到SOLR_WORK_PROCESS表中，每个物理表初始的进度（偏移量）为-1。然后对SOLR_WORK_PROCESS中记录的物理表逐一建立索引（每张表取20次数据处理后就转换到处理下一张表），把所有物理表都处理一遍后，需要重新检查LOGICAL_TABLE_MAPPING和SOLR_WORK_PROCESS之间记录的物理表，如果LOGICAL_TABLE_MAPPING中增加了物理表，就需要在SOLR_WORK_PROCESS中增加相应的物理表，如果LOGICAL_TABLE_MAPPING中删除了某物理表，就需要在SOLR_WORK_PROCESS删除相应的物理表。接着重新对物理表逐一建立索引。

建立索引过程最主要是维护建立索引的进度，也就是维护SOLR_WORK_PROCESS表。其中需要解决的问题就包括，增加物理表，删除物理表，每张物理表已经建立了多少索引等。为了程序的健壮性，程序中还每天对SOLR_WORK_PROCESS表进行备份（在每天删除索引定时器中调用备份函数）。

2） 删除索引的思想：

考虑到索引会不断增加，一方面只需要保留特定天数的索引，另一方面磁盘空间可能不足，所以需要每天检查是否需要删除索引。在数据库SYSTEM_CONFIG中字段LogSaveTime记录了需要索引保留的天数，假如要求保留20天，就只保留最新20天的索引，之前的索引都需要删除。删除索引时，需要从数据库中取回最新一条记录中字段time的&＃20540;，看作是最新记录的时间。最新记录只从当前物理表LOG_POST中取回，如果当前物理表LOG_POST中没有记录，就会取消当天按时间判断的删除操作，如果最新记录的时间出现异常也会取消当天按时间判断的删除操作。最新记录时间异常的判断是根据LOG_POST中最新记录时间与LOGICAL_TABLE_MAPPING中LOG_POST的TIME_SCOPE_START进行对比，如果相差大于5就认为记录出现异常，不适宜进行删除。为了防止磁盘不足而引发程序崩溃，每天在执行按时间判断的删除操作后，都进行磁盘空间判断，若果所剩空间比最小要求空间还要小，就无条件执行删除一天的记录，删除后再判断，若还没有达到最小要求空间，就继续删除一天，直到达到最小要求空间。

3） 异常处理的思想：

为了程序的健壮性，实现过程中做了很多异常处理，目的是使程序不会崩溃。主要处理的异常分两类，一类是solr服务器异常，另一类是mysql异常。异常处理的总体思想都是捕捉后在能处理的地方尽快处理，而不是不断地往上抛。异常的处理，具体实现需要结合代码看。

代码的目录架构：

关于代码的目录架构，给出下面的图就可以

其中包program中的内容并不是程序必要的，是辅助测试的，resources下的input.txt和query.txt也是辅助测试使用的。

下面描述一下其中两个比较重要的配置文件，index_fields.json和solr_config.properties。index_fields.json记录了需要建立索引的字段，而solr_config.properties记录了一些比较重要的配置信息，下面对其逐一进行描述，

1> 连接数据库的相关信息

2> 连接solr服务器的url

3> each-read-row是每一次向数据库读取的记录数目。

4> scanner-interval是扫描间隔，也就是需要休眠多长时间再进行扫描。

5> delete-time是第一次执行删除操作的时间点。

6> 执行删除操作的时间间隔，小时为单位。

7> 索引存在的路径，用来判断磁盘空间剩余的大小。

8> SOLR_WORK_PROCESS工作进程表备份全路径。

9> 要求最小剩余磁盘空间。

solr程序设计,布布扣,bubuko.com