Mysql:
关系型数据库: 数据在存储时数据和数据之间有一定的关联关系
存储介质(存储位置): 硬盘
优点: 不会导致数据丢失,有事务控制
缺点: 执行消息低
事务控制
redis:
非关系型数据库: 数据在存储时数据和数据之间没有关联关系
存储介质(存储位置): 内存
优点: 执行效率高
缺点: 可能会导致数据丢失
ElasticSearch:
非关系型数据库的一种,主要用于快速搜索
存储介质(存储位置): 内存
优点: 可以实现海量数据的快速搜索(检索)
缺点: 占用内存空间较大
作用: 用来代替Mysql的查询,提高查询效率
数据库排行榜:
https://db-engines.com/en/
elasticsearch是一款非常强大的开源搜索引擎&＃xff0c;具备非常多强大功能&＃xff0c;可以帮助我们从海量数据中快速找到需要的内容
例如&＃xff1a;
在GitHub搜索代码
在电商网站搜索商品
在百度搜索答案
在打车软件搜索附近的车
elasticsearch结合kibana、Logstash、Beats&＃xff0c;也就是elastic stack&＃xff08;ELK&＃xff09;。被广泛应用在日志数据分析、实时监控等领域&＃xff1a;
而elasticsearch是elastic stack的核心&＃xff0c;负责存储、搜索、分析数据。
elasticsearch底层是基于lucene来实现的。
Lucene是一个Java语言的搜索引擎类库&＃xff0c;是Apache公司的顶级项目&＃xff0c;由DougCutting于1999年研发。官网地址&＃xff1a;Apache Lucene - Welcome to Apache Lucene 。
elasticsearch的发展历史&＃xff1a;
2004年Shay Banon基于Lucene开发了Compass
2010年Shay Banon 重写了Compass&＃xff0c;取名为Elasticsearch。
什么是elasticsearch&＃xff1f;
一个开源的分布式搜索引擎&＃xff0c;可以用来实现搜索、日志统计、分析、系统监控等功能
什么是elastic stack&＃xff08;ELK&＃xff09;&＃xff1f;
是以elasticsearch为核心的技术栈&＃xff0c;包括beats、Logstash、kibana、elasticsearch
什么是Lucene&＃xff1f;
是Apache的开源搜索引擎类库&＃xff0c;提供了搜索引擎的核心API
倒排索引的概念是基于MySQL这样的正向索引而言的。
正向索引和倒排索引
正向索引每条数据都要判断一遍&＃xff0c;很费性能
倒排索引一开始就进行所有文档的便利&＃xff0c;并且将每个文档的各个词条放进目录中&＃xff0c;这样后续要查询某个词条直接到目录中查询对应的ID就可以了&＃xff0c;后面再根据id查询详情信息
elasticsearch中有很多独有的概念&＃xff0c;与mysql中略有差别&＃xff0c;但也有相似之处。
elasticsearch是面向文档&＃xff08;Document&＃xff09;存储的&＃xff0c;可以是数据库中的一条商品数据&＃xff0c;一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中&＃xff1a;
而Json文档中往往包含很多的字段&＃xff08;Field&＃xff09;&＃xff0c;类似于数据库中的列。
索引&＃xff08;Index&＃xff09;&＃xff0c;就是相同类型的文档的集合。
例如&＃xff1a;
所有用户文档&＃xff0c;就可以组织在一起&＃xff0c;称为用户的索引&＃xff1b;
所有商品的文档&＃xff0c;可以组织在一起&＃xff0c;称为商品的索引&＃xff1b;
所有订单的文档&＃xff0c;可以组织在一起&＃xff0c;称为订单的索引&＃xff1b;
因此&＃xff0c;我们可以把索引当做是数据库中的表。
数据库的表会有约束信息&＃xff0c;用来定义表的结构、字段的名称、类型等信息。因此&＃xff0c;索引库中就有映射&＃xff08;mapping&＃xff09;&＃xff0c;是索引中文档的字段约束信息&＃xff0c;类似表的结构约束&＃xff1a; 比如 id唯一不为空&＃xff0c;name string 长度10
我们统一的把mysql与elasticsearch的概念做一下对比&＃xff1a;
是不是说&＃xff0c;我们学习了elasticsearch就不再需要mysql了呢&＃xff1f;
并不是如此&＃xff0c;两者各自有自己的擅长支出&＃xff1a;
Mysql&＃xff1a;擅长事务类型操作&＃xff0c;可以确保数据的安全和一致性
Elasticsearch&＃xff1a;擅长海量数据的搜索、分析、计算
因此在企业中&＃xff0c;往往是两者结合使用&＃xff1a;
对安全性要求较高的写操作&＃xff0c;使用mysql实现
对查询性能要求较高的搜索需求&＃xff0c;使用elasticsearch实现
两者再基于某种方式&＃xff0c;实现数据的同步&＃xff0c;保证一致性
因为我们还需要部署kibana容器&＃xff0c;因此需要让es和kibana容器互联。这里先创建一个网络&＃xff1a;
docker network create es-net
这里我们采用elasticsearch的7.12.1版本的镜像&＃xff0c;这个镜像体积非常大&＃xff0c;接近1G。不建议大家自己pull。
课前资料提供了镜像的tar包&＃xff1a;
大家将其上传到虚拟机中&＃xff0c;然后运行命令加载即可&＃xff1a;
# 导入数据
docker load -i es.tar
同理还有kibana的tar包也需要这样做。
运行docker命令&＃xff0c;部署单点es&＃xff1a;
docker run -d \
--name es \
-e "ES_JAVA_OPTS&＃61;-Xms512m -Xmx512m" \
-e "discovery.type&＃61;single-node" \
-v es-data:/usr/share/elasticsearch/data \
-v es-plugins:/usr/share/elasticsearch/plugins \
--privileged \
--network es-net \
-p 9200:9200 \
-p 9300:9300 \
elasticsearch:7.12.1
命令解释&＃xff1a;
-e "cluster.name&＃61;es-docker-cluster"&＃xff1a;设置集群名称
-e "http.host&＃61;0.0.0.0"&＃xff1a;监听的地址&＃xff0c;可以外网访问
-e "ES_JAVA_OPTS&＃61;-Xms512m -Xmx512m"&＃xff1a;内存大小
-e "discovery.type&＃61;single-node"&＃xff1a;非集群模式
-v es-data:/usr/share/elasticsearch/data&＃xff1a;挂载逻辑卷&＃xff0c;绑定es的数据目录
-v es-logs:/usr/share/elasticsearch/logs&＃xff1a;挂载逻辑卷&＃xff0c;绑定es的日志目录
-v es-plugins:/usr/share/elasticsearch/plugins&＃xff1a;挂载逻辑卷&＃xff0c;绑定es的插件目录
--privileged&＃xff1a;授予逻辑卷访问权
--network es-net &＃xff1a;加入一个名为es-net的网络中
-p 9200:9200&＃xff1a;端口映射配置
在浏览器中输入自己虚拟机ip加上9200端口&＃xff0c; 即可看到elasticsearch的响应结果&＃xff1a;
kibana可以给我们提供一个elasticsearch的可视化界面&＃xff0c;便于我们学习。
先加载镜像 docker load -i kibana.tar
运行docker命令&＃xff0c;部署kibana
docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS&＃61;http://es:9200 \
--network&＃61;es-net \
-p 5601:5601 \
kibana:7.12.1
--network es-net &＃xff1a;加入一个名为es-net的网络中&＃xff0c;与elasticsearch在同一个网络中
-e ELASTICSEARCH_HOSTS&＃61;http://es:9200"&＃xff1a;设置elasticsearch的地址&＃xff0c;因为kibana已经与elasticsearch在一个网络&＃xff0c;因此可以用容器名直接访问elasticsearch
-p 5601:5601&＃xff1a;端口映射配置
kibana启动一般比较慢&＃xff0c;需要多等待一会&＃xff0c;可以通过命令&＃xff1a;
docker logs -f kibana
查看运行日志&＃xff0c;当查看到下面的日志&＃xff0c;说明成功&＃xff1a;
此时&＃xff0c;在浏览器输入地址访问 5601端口就可以看到了
kibana中提供了一个DevTools界面&＃xff0c;我们在左上角的三个横杠&＃xff0c;展开后点击DevTools就可以看到&＃xff1a;
这个界面中可以编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能。
DSL就是elasticsearch提供的特殊语法&＃xff0c;基本格式如下&＃xff1a;
[请求方式] /[请求路径]
{
[请求参数key1]: [请求参数value1]&＃xff0c;
[请求参数key2]: [请求参数value2]
}
例如&＃xff1a;
GET /_analyze
{
"analyzer": "standard",
"text": "白马程序员"
}
向_analyze路径发送请求&＃xff0c;可以实现对文本进行分词
anlyzer分词器&＃xff0c;默认standard
因为kibana自带的分词器对中文不友好&＃xff0c;我们使用另外的分词器
# 进入容器内部
docker exec -it elasticsearch /bin/bash
# 在线下载并安装
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip
#退出
exit
#重启容器
docker restart elasticsearch
安装插件需要知道elasticsearch的plugins目录位置&＃xff0c;而我们用了数据卷挂载&＃xff0c;因此需要查看elasticsearch的数据卷目录&＃xff0c;通过下面命令查看:
docker volume inspect es-plugins
显示结果&＃xff1a;
[
{
"CreatedAt": "2022-05-06T10:06:34&＃43;08:00",
"Driver": "local",
"Labels": null,
"Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
"Name": "es-plugins",
"Options": null,
"Scope": "local"
}
]
说明plugins目录被挂载到了&＃xff1a;/var/lib/docker/volumes/es-plugins/_data这个目录中。
也就是/var/lib/docker/volumes/es-plugins/_data&＃xff1a;
# 4、重启容器
docker restart es
# 查看es日志
docker logs -f es
IK分词器包含两种模式&＃xff1a;
ik_smart&＃xff1a;最少切分
ik_max_word&＃xff1a;最细切分
GET /_analyze
{
"analyzer": "ik_max_word",
"text": "今天天气太棒了"
}
运行成功
随着互联网的发展&＃xff0c;“造词运动”也越发的频繁。出现了很多新的词语&＃xff0c;在原有的词汇列表中并不存在。比如&＃xff1a;“奥力给”&＃xff0c;“传智播客” 等。
所以我们的词汇也需要不断的更新&＃xff0c;IK分词器提供了扩展词汇的功能。
1&＃xff09;打开IK分词器config目录&＃xff1a;
2&＃xff09;在IKAnalyzer.cfg.xml配置文件内容添加&＃xff1a;
3&＃xff09;新建一个 ext.dic&＃xff0c;可以参考config目录下复制一个配置文件进行修改
确定编码为UTF-8
传智播客
奥力给
4&＃xff09;重启elasticsearch
docker restart es
# 查看 日志
docker logs -f elasticsearch
在互联网项目中&＃xff0c;在网络间传输的速度很快&＃xff0c;所以很多语言是不允许在网络上传递的&＃xff0c;如&＃xff1a;关于宗教、政治等敏感词语&＃xff0c;那么我们在搜索时也应该忽略当前词汇。
IK分词器也提供了强大的停用词功能&＃xff0c;让我们在索引时就直接忽略当前的停用词汇表中的内容。
1&＃xff09;IKAnalyzer.cfg.xml配置文件内容添加&＃xff1a;
3&＃xff09;在 stopword.dic 添加停用词
刘德华
4&＃xff09;重启elasticsearch
# 重启服务
docker restart elasticsearch
docker restart kibana
# 查看 日志
docker logs -f elasticsearch
日志中已经成功加载stopword.dic配置文件
5&＃xff09;测试效果就可以了
分词器的作用是什么&＃xff1f;
创建倒排索引时对文档分词
用户搜索时&＃xff0c;对输入的内容分词
IK分词器有几种模式&＃xff1f;
ik_smart&＃xff1a;智能切分&＃xff0c;粗粒度
ik_max_word&＃xff1a;最细切分&＃xff0c;细粒度
IK分词器如何拓展词条&＃xff1f;如何停用词条&＃xff1f;
利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典
在词典中添加拓展词条或者停用词条
索引库就类似数据库表&＃xff0c;mapping映射就类似表的结构。
我们要向es中存储数据&＃xff0c;必须先创建“库”和“表”。
mapping是对索引库中文档的约束&＃xff0c;常见的mapping属性包括&＃xff1a;
type&＃xff1a;字段数据类型&＃xff0c;常见的简单类型有&＃xff1a;
字符串&＃xff1a;text&＃xff08;可分词的文本&＃xff09;、keyword&＃xff08;精确值&＃xff0c;例如&＃xff1a;品牌、国家、ip地址&＃xff09;
数值&＃xff1a;long、integer、short、byte、double、float、
布尔&＃xff1a;boolean
日期&＃xff1a;date
对象&＃xff1a;object
index&＃xff1a;是否创建索引&＃xff0c;默认为true
analyzer&＃xff1a;使用哪种分词器
properties&＃xff1a;该字段的子字段
例如下面的json文档&＃xff1a;
{
"age": 21,
"weight": 52.1,
"isMarried": false,
"info": "黑马程序员Java讲师",
"email": "zy&＃64;itcast.cn",
"score": [99.1, 99.5, 98.9],
"name": {
"firstName": "云",
"lastName": "赵"
}
}
对应的每个字段映射&＃xff08;mapping&＃xff09;&＃xff1a;
age&＃xff1a;类型为 integer&＃xff1b;参与搜索&＃xff0c;因此需要index为true&＃xff1b;无需分词器
weight&＃xff1a;类型为float&＃xff1b;参与搜索&＃xff0c;因此需要index为true&＃xff1b;无需分词器
isMarried&＃xff1a;类型为boolean&＃xff1b;参与搜索&＃xff0c;因此需要index为true&＃xff1b;无需分词器
info&＃xff1a;类型为字符串&＃xff0c;需要分词&＃xff0c;因此是text&＃xff1b;参与搜索&＃xff0c;因此需要index为true&＃xff1b;分词器可以用ik_smart
email&＃xff1a;类型为字符串&＃xff0c;但是不需要分词&＃xff0c;因此是keyword&＃xff1b;不参与搜索&＃xff0c;因此需要index为false&＃xff1b;无需分词器
score&＃xff1a;虽然是数组&＃xff0c;但是我们只看元素的类型&＃xff0c;类型为float&＃xff1b;参与搜索&＃xff0c;因此需要index为true&＃xff1b;无需分词器
name&＃xff1a;类型为object&＃xff0c;需要定义多个子属性
name.firstName&＃xff1b;类型为字符串&＃xff0c;但是不需要分词&＃xff0c;因此是keyword&＃xff1b;参与搜索&＃xff0c;因此需要index为true&＃xff1b;无需分词器
name.lastName&＃xff1b;类型为字符串&＃xff0c;但是不需要分词&＃xff0c;因此是keyword&＃xff1b;参与搜索&＃xff0c;因此需要index为true&＃xff1b;无需分词器
这里我们统一使用Kibana编写DSL的方式来演示。
基本语法&＃xff1a;
请求方式&＃xff1a;PUT
请求路径&＃xff1a;/索引库名&＃xff0c;可以自定义
请求参数&＃xff1a;mapping映射
格式&＃xff1a;
PUT /索引库名称
{
"mappings": {
"properties": {
"字段名":{
"type": "text",
"analyzer": "ik_smart"
},
"字段名2":{
"type": "keyword",
"index": "false"
},
"字段名3":{
"properties": {
"子字段": {
"type": "keyword"
}
}
},
// ...略
}
}
}
示例&＃xff1a;
不分词的话&＃xff0c;index设置成false&＃xff0c;analyzer就不用写了
基本语法&＃xff1a;
请求方式&＃xff1a;GET
请求路径&＃xff1a;/索引库名
请求参数&＃xff1a;无
格式&＃xff1a;
GET /索引库名
倒排索引结构虽然不复杂&＃xff0c;但是一旦数据结构改变&＃xff08;比如改变了分词器&＃xff09;&＃xff0c;就需要重新创建倒排索引&＃xff0c;这简直是灾难。因此索引库一旦创建&＃xff0c;无法修改mapping。
虽然无法修改mapping中已有的字段&＃xff0c;但是却允许添加新的字段到mapping中&＃xff0c;因为不会对倒排索引产生影响。
语法说明&＃xff1a;
PUT /索引库名/_mapping
{
"properties": {
"新字段名":{
"type": "integer"
}
}
}
索引库操作有哪些&＃xff1f;
创建索引库&＃xff1a;PUT /索引库名
查询索引库&＃xff1a;GET /索引库名
删除索引库&＃xff1a;DELETE /索引库名
添加字段&＃xff1a;PUT /索引库名/_mapping
语法&＃xff1a;
POST /索引库名/_doc/文档id
{
"字段1": "值1",
"字段2": "值2",
"字段3": {
"子属性1": "值3",
"子属性2": "值4"
},
// ...
}
示例&＃xff1a;
POST /heima/_doc/1
{
"info": "三国五虎上将",
"email": "zy&＃64;itcast.cn",
"name": {
"firstName": "云",
"lastName": "赵"
}
}
响应&＃xff1a;
根据rest风格&＃xff0c;新增是post&＃xff0c;查询应该是get&＃xff0c;不过查询一般都需要条件&＃xff0c;这里我们把文档id带上。
语法&＃xff1a;
GET /{索引库名称}/_doc/{id}
通过kibana查看数据&＃xff1a;
GET /heima/_doc/1
删除使用DELETE请求&＃xff0c;同样&＃xff0c;需要根据id进行删除&＃xff1a;
语法&＃xff1a;
DELETE /{索引库名}/_doc/id值
示例&＃xff1a;
# 根据id删除数据
DELETE /heima/_doc/1
修改有两种方式&＃xff1a;
全量修改&＃xff1a;直接覆盖原来的文档
增量修改&＃xff1a;修改文档中的部分字段
全量修改是覆盖原来的文档&＃xff0c;其本质是&＃xff1a;
根据指定的id删除文档
新增一个相同id的文档
注意&＃xff1a;如果根据id删除时&＃xff0c;id不存在&＃xff0c;第二步的新增也会执行&＃xff0c;也就从修改变成了新增操作了。
语法&＃xff1a;
PUT /{索引库名}/_doc/文档id
{
"字段1": "值1",
"字段2": "值2",
// ... 略
}
示例&＃xff1a;
PUT /heima/_doc/1
{
"info": "黑马程序员高级Java讲师",
"email": "zy&＃64;itcast.cn",
"name": {
"firstName": "云",
"lastName": "赵"
}
}
增量修改是只修改指定id匹配的文档中的部分字段。
语法&＃xff1a;
POST /{索引库名}/_update/文档id
{
"doc": {
"字段名": "新的值",
}
}
示例&＃xff1a;
POST /heima/_update/1
{
"doc": {
"email": "ZhaoYun&＃64;itcast.cn"
}
}
ES: 非关系型数据库
作用: 从海量数据中快速检索出用户需要的数据信息
原理:
ES软件本质上就是一个web项目,直接向ES发送Rest风格的请求就可以操作ES库了.
操作ES的方式:
直接向ES发送Rest风格的请求即可.
任何编程语言只要能够发送Rest风格的请求,就可以操作ES.
倒排索引:
文档: 相当于Mysql中的一条记录,在ES中文档以json格式体现
词条: 本质上就是一个中文的词语
1.先将被搜索的字段进行分词
建立词条与文档id的对应关系 ---> 词条列表
2.检索
将用户输入的信息进行分词
根据得到的词条查询词条列表,找到对应的文档id,根据文档id查询对应的文档数据
ES与Mysql的对应关系:
Mysql ES
表 索引库
行(一条记录) 文档数据(json格式)
列(字段) 字段
约束 映射(mapping)
Elastic技术栈: ELK
安装ES/安装Kibana:
默认分词器: standard
安装分词器插件: IK中文分词器
ik_smart
ik_max_word
Kibana操作ES:
索引库操作:
文档操作:
ES官方提供了各种不同语言的客户端&＃xff0c;用来操作ES。这些客户端的本质就是组装DSL语句&＃xff0c;通过http请求发送给ES。官方文档地址&＃xff1a;Elasticsearch Clients | Elastic
其中的Java Rest Client又包括两种&＃xff1a;
Java Low Level Rest Client
Java High Level Rest Client
我们学习的是Java HighLevel Rest Client客户端API
在elasticsearch提供的API中&＃xff0c;与elasticsearch一切交互都封装在一个名为RestHighLevelClient的类中&＃xff0c;必须先完成这个对象的初始化&＃xff0c;建立与elasticsearch的连接。
分为三步&＃xff1a;
1&＃xff09;引入es的RestHighLevelClient依赖&＃xff1a;
2&＃xff09;因为SpringBoot默认的ES版本是7.6.2&＃xff0c;所以我们需要覆盖默认的ES版本&＃xff1a;
3&＃xff09;初始化RestHighLevelClient&＃xff1a;
初始化的代码如下&＃xff1a;
RestHighLevelClient client &＃61; new RestHighLevelClient(RestClient.builder(
HttpHost.create("http://192.168.150.101:9200")
));
这里为了单元测试方便&＃xff0c;我们创建一个测试类HotelIndexTest&＃xff0c;然后将初始化的代码编写在&＃64;BeforeEach方法中&＃xff1a;
&＃64;SpringBootTest
public class HelloRestClientTest {
private RestHighLevelClient client &＃61; null;
/**
* 创建RestClient对象,操作ES
*/
&＃64;BeforeEach
public void init() throws IOException {
//1.创建RestClient对象用于操作ES,向ES发送rest风格的请求
// RestHighLevelClient client &＃61; new RestHighLevelClient(
// RestClient.builder(
// //new HttpHost("localhost", 9200, "http"),
// new HttpHost("192.168.163.141", 9200, "http")));
client &＃61; new RestHighLevelClient(RestClient.builder(
HttpHost.create("http://192.168.163.141:9200")
));
System.out.println(client);
}
&＃64;Test
public void test01(){
System.out.println(client);
}
&＃64;AfterEach
public void destory() throws IOException {
if (client!&＃61;null){
// 关闭客户端对象
client.close();
}
}
}
创建索引库的API如下&＃xff1a;
代码分为三步&＃xff1a;
1&＃xff09;创建Request对象。因为是创建索引库的操作&＃xff0c;因此Request是CreateIndexRequest。
2&＃xff09;添加请求参数&＃xff0c;其实就是DSL的JSON参数部分。因为json字符串很长&＃xff0c;这里是定义了静态字符串常量MAPPING_TEMPLATE&＃xff0c;让代码看起来更加优雅。
3&＃xff09;发送请求&＃xff0c;client.indices()方法的返回值是IndicesClient类型&＃xff0c;封装了所有与索引库操作有关的方法。
在hotel-demo的cn.itcast.hotel.constants包下&＃xff0c;创建一个类&＃xff0c;定义mapping映射的JSON字符串常量&＃xff1a;
package cn.itcast.hotel.constants;
public class HotelConstants {
public static final String MAPPING_TEMPLATE &＃61; "{\n" &＃43;
" \"mappings\": {\n" &＃43;
" \"properties\": {\n" &＃43;
" \"id\": {\n" &＃43;
" \"type\": \"keyword\"\n" &＃43;
" },\n" &＃43;
" \"name\":{\n" &＃43;
" \"type\": \"text\",\n" &＃43;
" \"analyzer\": \"ik_max_word\",\n" &＃43;
" \"copy_to\": \"all\"\n" &＃43;
" },\n" &＃43;
" \"address\":{\n" &＃43;
" \"type\": \"keyword\",\n" &＃43;
" \"index\": false\n" &＃43;
" },\n" &＃43;
" \"price\":{\n" &＃43;
" \"type\": \"integer\"\n" &＃43;
" },\n" &＃43;
" \"score\":{\n" &＃43;
" \"type\": \"integer\"\n" &＃43;
" },\n" &＃43;
" \"brand\":{\n" &＃43;
" \"type\": \"keyword\",\n" &＃43;
" \"copy_to\": \"all\"\n" &＃43;
" },\n" &＃43;
" \"city\":{\n" &＃43;
" \"type\": \"keyword\",\n" &＃43;
" \"copy_to\": \"all\"\n" &＃43;
" },\n" &＃43;
" \"starName\":{\n" &＃43;
" \"type\": \"keyword\"\n" &＃43;
" },\n" &＃43;
" \"business\":{\n" &＃43;
" \"type\": \"keyword\"\n" &＃43;
" },\n" &＃43;
" \"location\":{\n" &＃43;
" \"type\": \"geo_point\"\n" &＃43;
" },\n" &＃43;
" \"pic\":{\n" &＃43;
" \"type\": \"keyword\",\n" &＃43;
" \"index\": false\n" &＃43;
" },\n" &＃43;
" \"all\":{\n" &＃43;
" \"type\": \"text\",\n" &＃43;
" \"analyzer\": \"ik_max_word\"\n" &＃43;
" }\n" &＃43;
" }\n" &＃43;
" }\n" &＃43;
"}";
}
几个特殊字段说明&＃xff1a;
location&＃xff1a;地理坐标&＃xff0c;里面包含精度、纬度
all&＃xff1a;一个组合字段&＃xff0c;其目的是将多字段的值 利用copy_to合并&＃xff0c;提供给用户搜索
在hotel-demo中的HotelIndexTest测试类中&＃xff0c;编写单元测试&＃xff0c;实现创建索引&＃xff1a;
&＃64;Test
void createHotelIndex() throws IOException {
// 1.创建Request对象
CreateIndexRequest request &＃61; new CreateIndexRequest("hotel");
// 2.准备请求的参数&＃xff1a;DSL语句
request.mapping(MAPPING_TEMPLATE, XContentType.JSON);
// 3.发送请求
client.indices().create(request, RequestOptions.DEFAULT);
}
删除索引库的DSL语句非常简单&＃xff1a;
DELETE /hotel
与创建索引库相比&＃xff1a;
请求方式从PUT变为DELTE
请求路径不变
无请求参数
所以代码的差异&＃xff0c;注意体现在Request对象上。依然是三步走&＃xff1a;
1&＃xff09;创建Request对象。这次是DeleteIndexRequest对象
2&＃xff09;准备参数。这里是无参
3&＃xff09;发送请求。改用delete方法
在hotel-demo中的HotelIndexTest测试类中&＃xff0c;编写单元测试&＃xff0c;实现删除索引&＃xff1a;
&＃64;Test
void testDeleteHotelIndex() throws IOException {
// 1.创建Request对象
DeleteIndexRequest request &＃61; new DeleteIndexRequest("hotel");
// 2.发送请求
client.indices().delete(request, RequestOptions.DEFAULT);
}
判断索引库是否存在&＃xff0c;本质就是查询&＃xff0c;对应的DSL是&＃xff1a;
GET /hotel
因此与删除的Java代码流程是类似的。依然是三步走&＃xff1a;
1&＃xff09;创建Request对象。这次是GetIndexRequest对象
2&＃xff09;准备参数。这里是无参
3&＃xff09;发送请求。改用exists方法
&＃64;Test
void testExistsHotelIndex() throws IOException {
// 1.创建Request对象
GetIndexRequest request &＃61; new GetIndexRequest("hotel");
// 2.发送请求
boolean exists &＃61; client.indices().exists(request, RequestOptions.DEFAULT);
// 3.输出
System.err.println(exists ? "索引库已经存在&＃xff01;" : "索引库不存在&＃xff01;");
}
JavaRestClient操作elasticsearch的流程基本类似。核心是client.indices()方法来获取索引库的操作对象。
索引库操作的基本步骤&＃xff1a;
初始化RestHighLevelClient
创建XxxIndexRequest。XXX是Create、Get、Delete
准备DSL&＃xff08; Create时需要&＃xff0c;其它是无参&＃xff09;
发送请求。调用RestHighLevelClient#indices().xxx()方法&＃xff0c;xxx是create、exists、delete
新增文档数据示例&＃xff1a;
新增文档的DSL语句如下&＃xff1a;
POST /{索引库名}/_doc/1
{
"name": "Jack",
"age": 21
}
对应的java代码如图&＃xff1a;
可以看到与创建索引库类似&＃xff0c;同样是三步走&＃xff1a;
1&＃xff09;创建Request对象
2&＃xff09;准备请求参数&＃xff0c;也就是DSL中的JSON文档
3&＃xff09;发送请求
变化的地方在于&＃xff0c;这里直接使用client.xxx()的API&＃xff0c;不再需要client.indices()了。
查询文档数据示例&＃xff1a;
查询的DSL语句如下&＃xff1a;
GET /hotel/_doc/{id}
非常简单&＃xff0c;因此代码大概分两步&＃xff1a;
准备Request对象
发送请求
不过查询的目的是得到结果&＃xff0c;解析为HotelDoc&＃xff0c;因此难点是结果的解析。完整代码如下&＃xff1a;
可以看到&＃xff0c;结果是一个JSON&＃xff0c;其中文档放在一个_source属性中&＃xff0c;因此解析就是拿到_source&＃xff0c;反序列化为Java对象即可。
与之前类似&＃xff0c;也是三步走&＃xff1a;
1&＃xff09;准备Request对象。这次是查询&＃xff0c;所以是GetRequest
2&＃xff09;发送请求&＃xff0c;得到结果。因为是查询&＃xff0c;这里调用client.get()方法
3&＃xff09;解析结果&＃xff0c;就是对JSON做反序列化
删除的DSL是这样的&＃xff1a;
DELETE /hotel/_doc/{id}
与查询相比&＃xff0c;仅仅是请求方式从DELETE变成GET&＃xff0c;可以想象Java代码应该依然是三步走&＃xff1a;
1&＃xff09;准备Request对象&＃xff0c;因为是删除&＃xff0c;这次是DeleteRequest对象。要指定索引库名和id
2&＃xff09;准备参数&＃xff0c;无参
3&＃xff09;发送请求。因为是删除&＃xff0c;所以是client.delete()方法
数据库查询后的结果是一个Hotel类型的对象。结构如下&＃xff1a;
&＃64;Data
&＃64;TableName("tb_hotel")
public class Hotel {
&＃64;TableId(type &＃61; IdType.INPUT)
private Long id;
private String name;
private String address;
private Integer price;
private Integer score;
private String brand;
private String city;
private String starName;
private String business;
private String longitude;
private String latitude;
private String pic;
}
与我们的索引库结构存在差异&＃xff1a;
longitude和latitude需要合并为location
因此&＃xff0c;我们需要定义一个新的类型&＃xff0c;与索引库结构吻合&＃xff1a;
package cn.itcast.hotel.pojo;
import lombok.Data;
import lombok.NoArgsConstructor;
&＃64;Data
&＃64;NoArgsConstructor
public class HotelDoc {
private Long id;
private String name;
private String address;
private Integer price;
private Integer score;
private String brand;
private String city;
private String starName;
private String business;
private String location;
private String pic;
public HotelDoc(Hotel hotel) {
this.id &＃61; hotel.getId();
this.name &＃61; hotel.getName();
this.address &＃61; hotel.getAddress();
this.price &＃61; hotel.getPrice();
this.score &＃61; hotel.getScore();
this.brand &＃61; hotel.getBrand();
this.city &＃61; hotel.getCity();
this.starName &＃61; hotel.getStarName();
this.business &＃61; hotel.getBusiness();
this.location &＃61; hotel.getLatitude() &＃43; ", " &＃43; hotel.getLongitude();
this.pic &＃61; hotel.getPic();
}
}
我们导入酒店数据&＃xff0c;基本流程一致&＃xff0c;但是需要考虑几点变化&＃xff1a;
酒店数据来自于数据库&＃xff0c;我们需要先查询出来&＃xff0c;得到hotel对象
hotel对象需要转为HotelDoc对象
HotelDoc需要序列化为json格式
因此&＃xff0c;代码整体步骤如下&＃xff1a;
1&＃xff09;根据id查询酒店数据Hotel
2&＃xff09;将Hotel封装为HotelDoc
3&＃xff09;将HotelDoc序列化为JSON
4&＃xff09;创建IndexRequest&＃xff0c;指定索引库名和id
5&＃xff09;准备请求参数&＃xff0c;也就是JSON文档
6&＃xff09;发送请求
在hotel-demo的HotelDocumentTest测试类中&＃xff0c;编写单元测试&＃xff1a;
&＃64;Test
void testAddDocument() throws IOException {
// 1.根据id查询酒店数据
Hotel hotel &＃61; hotelService.getById(61083L);
// 2.转换为文档类型
HotelDoc hotelDoc &＃61; new HotelDoc(hotel);
// 3.将HotelDoc转json
String json &＃61; JSON.toJSONString(hotelDoc);
// 1.准备Request对象
IndexRequest request &＃61; new IndexRequest("hotel").id(hotelDoc.getId().toString());
// 2.准备Json文档
request.source(json, XContentType.JSON);
// 3.发送请求
client.index(request, RequestOptions.DEFAULT);
}
案例需求&＃xff1a;利用BulkRequest批量将数据库数据导入到索引库中。
步骤如下&＃xff1a;
利用mybatis-plus查询酒店数据
将查询到的酒店数据&＃xff08;Hotel&＃xff09;转换为文档类型数据&＃xff08;HotelDoc&＃xff09;
利用JavaRestClient中的BulkRequest批处理&＃xff0c;实现批量新增文档
其实还是三步走&＃xff1a;
1&＃xff09;创建Request对象。这里是BulkRequest
2&＃xff09;准备参数。批处理的参数&＃xff0c;就是其它Request对象&＃xff0c;这里就是多个IndexRequest
3&＃xff09;发起请求。这里是批处理&＃xff0c;调用的方法为client.bulk()方法
我们在导入酒店数据时&＃xff0c;将上述代码改造成for循环处理即可。
在hotel-demo的HotelDocumentTest测试类中&＃xff0c;编写单元测试&＃xff1a;
&＃64;Test
void testBulkRequest() throws IOException {
// 批量查询酒店数据
List
// 1.创建Request
BulkRequest request &＃61; new BulkRequest();
// 2.准备参数&＃xff0c;添加多个新增的Request
for (Hotel hotel : hotels) {
// 2.1.转换为文档类型HotelDoc
HotelDoc hotelDoc &＃61; new HotelDoc(hotel);
// 2.2.创建新增文档的Request对象
request.add(new IndexRequest("hotel")
.id(hotelDoc.getId().toString())
.source(JSON.toJSONString(hotelDoc), XContentType.JSON));
}
// 3.发送请求
client.bulk(request, RequestOptions.DEFAULT);
}
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有