mysql集群solr_Solr搜索引擎—SolrCloud安装和集群配置

搞定了一切的一切之后下一步就是正式使用了&＃xff0c;但是之前介绍的都是在单台服务器上进行的部署&＃xff0c;如果在生产环境出现了单台故障怎么办呢&＃xff1f;提供稳定性和性能的最直观的方式就是集群&＃xff0c;solr官方提供了cloud的集群方式

附上:

PS&＃xff1a;8.0.0版本已经发布&＃xff0c;本文使用此时较为稳定的7.7.1版本

一、基于tomcat安装solr

下载solr

> cd /app/install/

> wget http://mirror.bit.edu.cn/apache/lucene/solr/7.7.1/solr-7.7.1.tgz

> tar -zxvf solr-7.7.1.tgz

> mv solr-7.7.1 /usr/local/

> vim /etc/profile

export PATH&＃61;/usr/local/solr-7.7.1/bin:$PATH

> source /etc/profile

在tomcat包下的webapps目录新建一个目录&＃xff0c;取名solr

> cd /data/wwwroot/default

> mkdir solr

将solr解压包/solr-7.7.1/server/solr-webapp/webapp/下的内容拷贝到刚才tomcat下新建的文件夹solr中

将/solr-7.7.1/server/lib/ext/下的jar包拷贝到/tomcat/webapps/solr/WEB-INF/lib/下

将/solr-7.7.1/server/lib/下metrics开头的jar包也拷贝到刚才的目录下

将/solr-7.7.1/dist/下 solr-dataimporthandler-extras-7.7.1.jar、solr-dataimporthandler-7.7.1.jar也拷贝到刚才的目录下

> cp -rf /usr/local/solr-7.7.1/server/solr-webapp/webapp/* /data/wwwroot/default/solr

> cp -rf /usr/local/solr-7.7.1/server/lib/ext/* /data/wwwroot/default/solr/WEB-INF/lib

> cp -rf /usr/local/solr-7.7.1/server/lib/metrics-* /data/wwwroot/default/solr/WEB-INF/lib

> cp -rf /usr/local/solr-7.7.1/dist/solr-dataimporthandler-extras-7.7.1.jar /data/wwwroot/default/solr/WEB-INF/lib

> cp -rf /usr/local/solr-7.7.1/dist/solr-dataimporthandler-7.7.1.jar /data/wwwroot/default/solr/WEB-INF/lib

在你本地的/home下新建一个文件夹,取名solr-home,将/solr-7.7.1/server/solr下的内容拷贝到刚才新建的solr-home下

> mkdir /home/solr-home

> cp -rf /usr/local/solr-7.7.1/server/solr/* /home/solr-home/

打开并编辑/tomcat/webapps/solr/WEB-INF/web.xml并且注释文件末尾的所有 元素节点

> vim /data/wwwroot/default/solr/WEB-INF/web.xml

solr/home

/home/solr-home

java.lang.String

配置solr日志(可选)

将/solr-7.7.1/server/resources/下的log4j2.xml文件拷贝到solr/WEB-INF/classes/下,如果没有则自己创建一个。

分别给予权限

> chown -R www:www /home/solr-home/

> chown -R www:www /data/wwwroot/default/solr/

二&＃xff0c;SolrCloud配置子节点

把配置好的solr 和 solrhome 复制到其余两个节点

> scp -r /home/solr-home root&＃64;solr-2:/home/

> scp -r /home/solr-home root&＃64;solr-3:/home/

> scp -r /data/wwwroot/default/solr root&＃64;solr-2:/data/wwwroot/default/

> scp -r /data/wwwroot/default/solr root&＃64;solr-3:/data/wwwroot/default/

配置solrCloud相关的配置。每个solrhome下都有一个solr.xml&＃xff0c;把其中的ip及端口号配置好

> vim /home/solr-home/solr.xml

让zookeeper统一管理配置文件。需要把/conf目录上传到zookeeper

> cd /app/install/solr-7.7.1/server/scripts/cloud-scripts

> ./zkcli.sh -zkhost solr-1:2181,solr-2:2181,solr-3:2181 -cmd upconfig -confdir /home/solr-home/new_core/conf -confname myconf

使用zkCli.sh来确认一下文件已经上传了

修改tomcat/bin目录下的catalina.sh文件&＃xff0c;关联solr和zookeeper 三台都需要修改

> vim /usr/local/tomcat/bin/catalina.sh

JAVA_OPTS&＃61;"-DzkHost&＃61;solr-1:2181,solr-2:2181,solr-3:2181"

此时重启所有的tomcat就可以正常访问到solr-ui了

三、添加Collection使用索引功能

PS&＃xff1a;集群下的Collection等同于单机的core

四、配置mysql索引

使用SolrCloud来去进行配置过程和单机模式基本一致&＃xff0c;但是有以下几个多出来的事情&＃xff1a;

修改完new_core的配置需要通过zookeeper进行配置文件的上传才能生效&＃xff1b;

依赖的各种jar包mysql&＃xff0c;分词和拼音等每个集群节点都需要添加才能生效&＃xff1b;

> vim server/solr/new_core/conf/solrconfig.xml

在solrconfig.xml 下添加以下配置&＃xff0c;添加位置大约在 680行&＃xff0c;SearchHandler 配置上面&＃xff1a;

data-config.xml

> vim server/solr/new_core/conf/data-config.xml

type&＃61;"JdbcDataSource"

driver&＃61;"com.mysql.jdbc.Driver"

url&＃61;"jdbc:mysql://localhost:3306/appstore"

user&＃61;"root"

password&＃61;"sunmi388"

/>

pk&＃61;"id"

dataSource&＃61;"source"

query&＃61;"select * from app"

deltaImportQuery&＃61;"select * from app where id &＃61; &＃39;${dih.delta.id}&＃39;"

deltaQuery&＃61;"select id from app where update_date > &＃39;${dataimporter.last_index_time}&＃39; and type &＃61; 1">

> vim server/solr/new_core/conf/managed-schema

添加jar包时每个节点都需要添加

> cd /data/wwwroot/default/solr/WEB-INF/lib/

> wget http://pic.w-blog.cn/mysql-connector-java.jar

上传配置&＃xff1a;

> ./zkcli.sh -zkhost solr-1:2181,solr-2:2181,solr-3:2181 -cmd upconfig -confdir /home/solr-home/new_core/conf -confname myconf

PS&＃xff1a;分词配置和依赖jar包同理

五、集群机制测试

测试容错

关闭主节点solr-1

在数据查询上 另外两个节点依然可以提供数据查询服务

重启 solr-1&＃xff0c;再次查看界面可以发现主节点已经路由给了solr-2

测试分词在集群下的生效范围&＃xff0c;在solr-1增加新的分词

> vim /data/wwwroot/default/solr/WEB-INF/classes/ext.dic

美团

保存后重启所有节点重新初始化数据

增加了分词文件的节点可以识别

未增加分词文件的节点无法识别

影响范围是局部的&＃xff0c;并且一定要重启才能生效(当然这个是IK分词库决定的)

六、集群压力分散情况

验证 查询时自动负载均衡

通过一台服务器对一台进行压力查看整个集群的情况

> ab -c 1000 -n 100000 -k "http://solr-1:8080/solr/mycollection/select?q&＃61;appName%3Agongju"

solr-1

solr-2 -3

承载了接口请求的节点压力会比较大&＃xff0c;其余在集群情况下提供了支持