当前位置: 开发笔记 > 编程语言 > 正文

Linux+Solr+Zookeeper-05:通过DataImport功能手动导入MySql的数据至Solr数据库

作者：long--Journey | 来源：互联网 | 2023-06-05 02:51

[超级连接：Linux+Solr+Zookeeper系列-序章]本章以新闻搜索为例，对Solr开发进行记录，主要涉及以下两方面的知识：如何通过修改配置文件完成Solr的

[超级连接：Linux+Solr+Zookeeper系列-序章]

本章以新闻搜索为例，对Solr开发进行记录，主要涉及以下两方面的知识：

如何通过修改配置文件完成Solr的Configsets的配置。
如何通过dataimport功能将MySql数据库中的数据导入到Solr数据库中。

1.场景说明

整体目标： 通过Solr Admin后台查询功能，查询出天气预报的相关新闻。

MySql表结构：

use exam;
drop table if exists news;

create table `news`( `id` int(5) unsigned not null auto_increment comment '新闻id', `title` varchar(20) not null comment '标题', `article` text comment '新闻内容', `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP comment '', `valid` varchar(1) not null default '1' comment '是否有效', primary key(id) )engine=InnoDB comment='新闻' auto_increment=100000 default charset=utf8;



insert into news(title,article) values('北京4月1日天气预报','今天天气不好，会下大雨，而且有大风，粉尘严重。');
insert into news(title,article) values('天津4月1日天气预报','今天天气很好，暖风和煦，空气干净。');
insert into news(title,article) values('重庆4月1日天气预报','今天天气一般，空气质量一般，下午阴天。');
insert into news(title,article) values('北京4月2日天气预报','今天天气很好，暖风和煦，空气干净。');
insert into news(title,article) values('天津4月2日天气预报','今天天气一般，空气质量一般，下午阴天。');
insert into news(title,article) values('重庆4月2日天气预报','今天天气不好，会下大雨，而且有大风，粉尘严重。');
insert into news(title,article) values('北京4月3日天气预报','今天天气一般，空气质量一般，下午阴天。');
insert into news(title,article) values('天津4月3日天气预报','今天天气不好，会下大雨，而且有大风，粉尘严重。');
insert into news(title,article) values('重庆4月3日天气预报','今天天气很好，暖风和煦，空气干净。');

select * from news;
select * from news where valid = '1';

注意：

为了实现增量数据导入，一定要在表结构中添加数据修改时间戳的相应字段，例如：update_time。
为了实现逻辑删除数据的增量处理，一定要在表结构中添加能够标识逻辑删除的字段，例如：valid。

Solr Document结构：

{
    "id":"新闻id",
    "title":"新闻标题",
    "article":"新闻内容"//支持分词检索 }

2.配置新闻的Configsets

1.新建配置集：拷贝并重命名Solr内置的基础配置集basic_configs，形成新闻的配置集news_configs。

sudo cp -r /usr/local/solrcloud/solr1/server/solr/configsets/basic_configs/ /usr/local/solrcloud/solr1/server/solr/configsets/news_configs

news_configs配置集包含了新闻集合类型的所有配置文件。

2.新建数据源：在news_configs/conf目录下新增news-data-config.xml文件。

sudo vim /usr/local/solrcloud/solr1/server/solr/configsets/news_configs/conf/news-data-config.xml

在news-data-config.xml中添加以下内容：

<dataConfig>
        
        <dataSource name="news_db" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://130.10.8.100:3306/exam" user="root" password="1qaz@WSX"/>
        
        <document>
                
                <entity dataSource="news_db" name="news" query="select id,title,article from news where valid = '1'" deltaQuery="select id from news where update_time > '${dataimporter.last_index_time}'" deletedPkQuery="select id from news where valid = '0'" deltaImportQuery="select id,title,article from news where id='${dih.delta.id}'">
                        
                        <field column="id" name="id"/>
                        <field column="title" name="title"/>
                        <field column="article" name="article"/>
                entity>
        document>
dataConfig>

news-data-config.xml包含了Solr的数据导入dataimport功能的数据源信息，下面对几个重要标签进行简单的说明：

dataSource：数据源配置
- name：数据库连接别名
- type：数据源类型
entity：数据库实体配置
- dataSource：数据库连接别名
- name：表名
- query：全量导入(full-import)的查询语句
- deltaQuery：增量数据的主键的查询语句
- deletedPkQuery：删除数据的主键的查询语句
- deltaImportQuery：增量导入(delta-import)的查询语句
field：字段配置
- column：数据库字段名
- name：solr字段名

注意：

可以使用select * from table_name来获取所有字段，而不是每个字段都罗列出来。
如果field配置的column与name相同，可以不必配置此字段。

3.配置Solr字段：编辑managed-schema文件。

sudo vim /usr/local/solrcloud/solr1/server/solr/configsets/news_configs/conf/managed-schema

找到field name="id"这一段配置，在其下添加如下配置：

<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />


<field name="title" type="string" indexed="true" stored="true"/>
<field name="article" type="text_general" indexed="true" stored="true"/>

对上述配置进行简单讲解：

name="title"：name属性即Solr的字段名，一定要与news-data-config.xml的相关配置一一对应。
type="string"：type属性即字段类型，其中string类型的字段为精确检索，text_general类型的字段为solr自带的分词检索。
indexed="true"：标识此字段可以被搜索。
stored="true"：标识可以在搜索结果中看到此结果。

4.加载数据源：修改solrconfig.xml文件，将news-data-config.xml加载到dataimport相关配置上。

sudo vim /usr/local/solrcloud/solr1/server/solr/configsets/news_configs/conf/solrconfig.xml

找到requestHandler name="/select"所在行代码，在其上添加如下内容：

  
  <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  
      <lst name="defaults">
            <str name="config">news-data-config.xmlstr>
      lst>
  requestHandler>

  <requestHandler name="/select" class="solr.SearchHandler">

注意：如果已有requestHandler name="/dataimport"的相关配置，则不用再添加。只是需要注意将news-data-config.xml添加到配置中即可。

5.添加数据驱动jar包

下载MySql的驱动jar包：https://dev.mysql.com/downloads/connector/j/

解压并拷贝jar包至solr/server/solr-webapp/webapp/WEB-INF/lib/目录下：

cp mysql-connector-java-5.1.46.jar /usr/local/solrcloud/solr1/server/solr-webapp/webapp/WEB-INF/lib/

注意：如果是SolrCloud模式，则每个节点的相应目录都需要拷贝这些jar包。

6.添加数据导入jar包

如果使用Solr Admin的后台dataimport功能，则需要添加相应jar包：

cp /usr/local/solrcloud/solr1/dist/solr-dataimporthandler-6.6.0.jar /usr/local/solrcloud/solr1/server/solr-webapp/webapp/WEB-INF/lib/
cp /usr/local/solrcloud/solr1/dist/solr-dataimporthandler-extras-6.6.0.jar /usr/local/solrcloud/solr1/server/solr-webapp/webapp/WEB-INF/lib/

cp /usr/local/solrcloud/solr2/dist/solr-dataimporthandler-6.6.0.jar /usr/local/solrcloud/solr2/server/solr-webapp/webapp/WEB-INF/lib/
cp /usr/local/solrcloud/solr2/dist/solr-dataimporthandler-extras-6.6.0.jar /usr/local/solrcloud/solr2/server/solr-webapp/webapp/WEB-INF/lib/

cp /usr/local/solrcloud/solr3/dist/solr-dataimporthandler-6.6.0.jar /usr/local/solrcloud/solr3/server/solr-webapp/webapp/WEB-INF/lib/
cp /usr/local/solrcloud/solr3/dist/solr-dataimporthandler-extras-6.6.0.jar /usr/local/solrcloud/solr3/server/solr-webapp/webapp/WEB-INF/lib/

注意：

如果是SolrCloud模式，则每个节点的相应目录都需要拷贝这些jar包。
其实还有不拷贝jar包的配置方式，这里就不再赘述了。

7.上传配置
通过Solr字段的zookeeper脚本进行上传。

/usr/local/solrcloud/solr1/server/scripts/cloud-scripts/zkcli.sh --cmd upconfig -confdir /usr/local/solrcloud/solr1/server/solr/configsets/news_configs/conf -confname news -z 192.168.71.128:2181,192.168.71.128:2182,192.168.71.128:2183

下面对命令参数进行简单说明：

zkcli.sh：solr自带的zookeeper上传脚本
--cmd upconfig：表示这条命令用于上传配置
-confdir /usr/local/.....：表示配置目录所在
-collection news：表示collection的名称
-confname news：表示配置的配置名
-z192.168.71.128:2181,192.168.71.128:2182,192.168.71.128:2183：表示zookeeper服务地址

8.重启服务

/usr/local/solrcloud/solr1/bin/solr restart -c -p 8983 -z 192.168.71.128:2181,192.168.71.128:2182,192.168.71.128:2183

9.添加collection

进入Solr Admin后台，点击Collections菜单，进入Collection添加页面：
这里写图片描述

点击Add Collection按钮，输入配置，点击保存，完成新闻Collection的创建。
这里写图片描述

下面对collection的配置进行简单说明：

name：集合名。
config set：配置集，即前面章节我们上传的news_configs，我们给它命名为news。
numShards：逻辑分片数量。
replicationFactor：每个逻辑分片的副本数量。
maxShardsPerNode：每个节点允许的最大逻辑分片数量。

10.查看collection的逻辑架构

点击Solr Admin左侧的Cloud菜单，即可看到我们刚刚添加的news的逻辑架构：
这里写图片描述

3.数据导入与查询

3.1.全量数据导入

全量数据导入的操作流程：

点击Solr Admin左侧的Collection Selector，下拉选择news。
点击新展现的子菜单的DataImport按钮，进入数据导入页面。
选择Command模式为full-import，即全量导入。
点击Execute按钮，开始数据导入。
稍等片刻，点击Refresh Status按钮，右侧会显示导入结果，结果如下：

从图中可知，我们这次导入了9条记录。

3.2.默认查询

点击左侧的Query按钮，进入查询页面。
点击Execute Query按钮，进行默认查询，获得刚才导入的数据，如图所示：

3.3.增量导入

执行SQL语句，对一条数据进行修改：

update news set title='重庆4月14日天气预报' where id='100008';

增量数据导入的操作流程：

点击Solr Admin左侧的Collection Selector，下拉选择news。
点击子菜单的DataImport按钮，进入数据导入页面。
选择Command模式为delta-import，即增量导入。
注意取消勾选Clean选项，即不清除之前的数据。
点击Execute按钮，开始数据导入。
稍等片刻，点击Refresh Status按钮，右侧会显示导入结果，结果如下：

3.4.模糊查询

点击左侧的Query按钮，进入查询页面。
在q输入域内输入article:干净。
点击Execute Query按钮，进行默认查询，获得所有内容中包含“干净”这个词的新闻，如图所示：

推荐阅读

config
Python 使用 DOM 和 SAX 解析 XML 的应用实例

本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件，并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]

蜡笔小新 2024-11-12 16:10:39
string
如何在Java中使用DButils类

这期内容当中小编将会给大家带来有关如何在Java中使用DButils类，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。D ... [详细]

蜡笔小新 2024-11-12 13:46:11
default
php更新数据库字段的函数是,php更新数据库字段的函数是

php更新数据库字段的函数是,php更新数据库字段的函数是 ... [详细]

蜡笔小新 2024-11-12 11:37:31
string
开机自启动的几种方式

0x01快速自启动目录快速启动目录自启动方式源于Windows中的一个目录，这个目录一般叫启动或者Startup。位于该目录下的PE文件会在开机后进行自启动 ... [详细]

蜡笔小新 2024-11-12 11:16:30
select
SQL 批量导入时管理外键约束

本文介绍如何在将数据库从服务器复制到本地时，处理因外键约束导致的数据插入失败问题。 ... [详细]

蜡笔小新 2024-11-12 19:05:11
select
Pythonmysql数据库

importpymysql#一、直接连接mysql数据库'''coonpymysql.connect(host'192.168.*.*',u ... [详细]

蜡笔小新 2024-11-12 16:51:59
string
c/c++常用代码doc,ppt,xls文件格式转PDF格式[转]

[转]doc,ppt,xls文件格式转PDF格式http:blog.csdn.netlee353086articledetails7920355确实好用。需要注意的是#import ... [详细]

蜡笔小新 2024-11-12 16:19:40
string
MySQL 5.7 学习指南：SQLyog 中的主键、列属性和数据类型

本文介绍了 MySQL 5.7 中主键（Primary Key）和自增（Auto-Increment）的概念，以及如何在 SQLyog 中设置这些属性。同时，还探讨了数据类型的分类和选择，以及列属性的设置方法。 ... [详细]

蜡笔小新 2024-11-12 15:57:04
string
字节流(InputStream和OutputStream)，字节流读写文件，字节流的缓冲区，字节缓冲流

字节流抽象类InputStream和OutputStream是字节流的顶级父类所有的字节输入流都继承自InputStream，所有的输出流都继承子OutputStreamInput ... [详细]

蜡笔小新 2024-11-12 14:07:25
config
使用Python和smtplib实现邮件发送功能

本文详细介绍了如何使用Python中的smtplib库来发送带有附件的邮件，并提供了完整的代码示例。作者：多测师_王sir，时间：2020年5月20日 17:24，微信：15367499889，公司：上海多测师信息有限公司。 ... [详细]

蜡笔小新 2024-11-12 12:21:27
default
MySQL学习之路(二)——数据类型和操作数据表

数据类型和操作数据表2.1MySQL类型之整型2.2MySQL数据类型之浮点型2.3日期时间型DATE1支持时间：1000年1月1日~9999年12月31日DATETIME ... [详细]

蜡笔小新 2024-11-12 10:11:09
string
Java 编程错误：对象无法转换为 long 类型

本文介绍了在 Java 编程中遇到的一个常见错误：对象无法转换为 long 类型，并提供了详细的解决方案。 ... [详细]

蜡笔小新 2024-11-13 10:57:24
string
网站访问全流程解析

本文详细介绍了从用户在浏览器中输入一个域名（如www.yy.com）到页面完全展示的整个过程，包括DNS解析、TCP连接、请求响应等多个步骤。 ... [详细]

蜡笔小新 2024-11-12 18:13:16
install
window下的python安装插件

window下的python安装插件,Go语言社区,Golang程序员人脉社 ... [详细]

蜡笔小新 2024-11-12 15:14:05
string
PHP 对象生命周期与内存管理

本文详细介绍了 PHP 中对象的生命周期、内存管理和魔术方法的使用，包括对象的自动销毁、析构函数的作用以及各种魔术方法的具体应用场景。 ... [详细]

蜡笔小新 2024-11-12 13:35:26

long--Journey

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章