前言&＃xff1a;在上一篇博客中,我介绍了从零开始安装ElasticSearch,es是可以理解为一个操作数据的中间件,可以把它作为数据的存储仓库来对待,它具备强大的吞吐能力和计算能力&＃xff0c;其基于Lucene服务器开发,在搜索领域具有统治般的地位。平时可以通过命令来执行语句来查询ES,但是在实际的开发中&＃xff0c;还是以使用API居多&＃xff0c;关于ES的第三方框架有很多&＃xff0c;比如BBOSS、spring也对其进行封装叫做spring-elasticsearch-data,本篇博客&＃xff0c;我们就来聚焦Spring的官方API,来做一个基本的demo实现api来操作Es(elasticsearch的简称)
本篇博客的目录
一&＃xff1a;ElasticSearch的基本概念
二&＃xff1a;ElasticSearch5.2.2的安装
三&＃xff1a;ElasticSearch的官方API与Demo实现
四&＃xff1a;总结
一&＃xff1a;ElasticSearch的基本概念
1.1:索引 index
索引是ES存储数据的基本顶层单元目录.它好比就是关系型数据库中的数据库,是存储数据的地方。当搜索数据的时候&＃xff0c;会直接从索引中查取&＃xff0c;注意这里要与关系型数据的中的索引区分,他们是完全不同的概念。index的名字必须是小写,不能包含逗号、下划线或者大写字母
1.2:类型 type
type表示一类或者一种事物的抽象&＃xff0c;在关系型数据库中我们经常将一类结构相似的数据放在一个表里&＃xff0c;而在elasticsearch中,使用相同类型的type表示相同的一类事物&＃xff0c;它相当于关系型数据库中的表(table),用于描述文档中的各个字段的定义。每个type都有自己的映射(mapping)或者结构定义。type的名字可以是大写或者小写,不能包含下划线或者逗号。
1.3:文档 document
document是index中的单条数据序列化成的json格式的数据&＃xff0c;它以唯一id(_id)存储在ES中&＃xff0c;相当于关系表的数据行&＃xff0c;存储数据的载体&＃xff0c;包含一个或多个存有数据的字段&＃xff1b;
·字段&＃xff08;Field&＃xff09;&＃xff1a;文档的一个Key/Value对&＃xff1b;
·词&＃xff08;Term&＃xff09;&＃xff1a;表示文本中的一个单词&＃xff1b;
·标记&＃xff08;Token&＃xff09;&＃xff1a;表示在字段中出现的词&＃xff0c;由该词的文本、偏移量&＃xff08;开始和结束&＃xff09;以及类型组成
1.4&＃xff1a;Node 与 Cluster
Elastic 本质上是一个分布式数据库&＃xff0c;允许多台服务器协同工作&＃xff0c;每台服务器可以运行多个 Elastic 实例。单个 Elastic 实例称为一个节点&＃xff08;node&＃xff09;。一组节点构成一个集群&＃xff08;cluster&＃xff09;。
1.5:与mysql进行比较
二&＃xff1a;ElasticSearch5.2.2的安装
上一篇博客已经介绍了ES2.0版本的安装&＃xff0c;这篇就不再赘述了。不过我还是决定说一些在安装过程中的坑&＃xff0c;安装ES的坑确实很多&＃xff0c;楼主分别安装了2.0版本,5.5.2版本&＃xff0c;5.2.2版本,还用docker安装了&＃xff0c;但是因为docker玩的不够熟练&＃xff0c;在配置文件上更改还是出了很多问题&＃xff0c;最终还是靠传统的安装方式解决的。接下来就说说ES安装过程中的一些坑以及主要的点&＃xff1a;
2.1&＃xff1a;cannot allocate memory
这个是因为ES无法获取到足够的内存&＃xff0c;解决办法就是,修改elasticseach的config目录下的jvm.options,ES默认的大小是1G,最好修改成2的整数倍的容量&＃xff0c;具体依自己的内存而定&＃xff0c;我修改的是256m
2.2:Exception in thread "main" java.lang.RuntimeException: don&＃39;t run elasticsearch as root.
无法以root用户启动&＃xff0c;ES直接以root用户是无法启动的&＃xff0c;解决办法很简单&＃xff0c;就是建立一个ES的专用的组和用户&＃xff1a;
groupadd elasticsearchgroup
useradd elasticsearchgroup -g elasticsearch -p elasticsearch
chown -R elasticsearchgroup:elasticsearch elasticsearch-5.2.2
这里是先建立了一个elasticsearch的组,然后再添加elasticsearch这个用户&＃xff0c;密码也是elasticsearch&＃xff0c;再给ES的安装目录添加权限
2.3&＃xff1a;ERROR: bootstrap checks failed max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决办法就是修改系统的修改配置sysctl.conf最大文件交换数量&＃xff1a;
vi.sysctl.conf
vm.max_map_count&＃61;655360
sysctl -p
2.4: org.elasticsearch.client.transport.NoNodeAvailableException
这个错误&＃xff0c;是后台在连接APi出现的错误&＃xff0c;为了解决这个问题&＃xff0c;我花了很久(下面会说到版本号的问题)&＃xff0c;还有需要更改一下配置&＃xff1a;
首先是编辑config目录下的 elasticsearch.yml文件&＃xff1a;
这里的host要把#号打开&＃xff0c;然后写上自己的外网IP的地址&＃xff0c;还有cluster.name的名字也要记住&＃xff0c;它在配置ES中需要用到
三&＃xff1a;ElasticSearch的官方API与Demo实现
3.1.1:引入TransPort5.2.2
这里必须注意引入5.2.2版本&＃xff0c;因为我服务上安装的ES就是5.2.2版本。ES官方API众多&＃xff0c;每个版本之间不是互相兼容的&＃xff0c;如果引入的版本对应&＃xff0c;会报一个错误&＃xff1a;
org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available.&＃xff08;这个错误折磨了我很久&＃xff0c;所以一定要以自己的服务器上的版本为准,引入netty和elasticsearch、transport的版本互相对应&＃xff09;
3.1.2:springboot配置ES
新建一个类叫做ESconfig&＃xff0c;主要是配置ES服务器的IP和端口(注意这里是9300而不是9200),9300是ES的TCP服务端口&＃xff0c;然后实例化客户端&＃xff1b;
package com.wyq.elasticsearch.easticsearchtest.config;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.net.InetAddress;
import java.net.UnknownHostException;&＃64;Configuration
public class ESConfig {&＃64;Beanpublic TransportClient client() throws UnknownHostException {// 9300是es的tcp服务端口final String host &＃61; "176.122.132.220";InetSocketTransportAddress node &＃61; new InetSocketTransportAddress(InetAddress.getByName(host),9300);// 设置es节点的配置信息Settings settings &＃61; Settings.builder().put("cluster.name", "application").build();// 实例化es的客户端对象TransportClient client &＃61; new PreBuiltTransportClient(settings);client.addTransportAddress(node);return client;}
}
3.1.3:添加index
如果在ES里面添加一个index,我们需要以下命令,解释以下就是指定数据的index和type,在里面在指定fieldname
curl -X PUT &＃39;ip:port/index/type/id’ -d &＃39;
{“filedname”: “xxx”
}&＃39;
ES提供了同等的API来供我们使用&＃xff0c;按照下面的例子&＃xff0c;我们将会添加一个index叫做animal,type叫做person的数据&＃xff0c;并通过Springboot注入TransPortClient,然后用MVC来获取请求参数&＃xff0c;交给ES的api去处理&＃xff1a;XContentFactory.jsonBuilder()去拼接不同的json字符串&＃xff0c;用client去处理&＃xff1a;
&＃64;RestController
public class ElasticSearchDemoController {&＃64;Autowiredprivate TransportClient client;public static final String index &＃61; "product";public static final String type &＃61; "person";/*** 添加一个人的数据** &＃64;param name 名字* &＃64;param sex 性别* &＃64;param message 说明* &＃64;param job 工作* &＃64;param onlyMark 唯一标志* &＃64;return*/&＃64;PostMapping("/es/add")public ResponseEntity add(&＃64;RequestParam("name") String name,&＃64;RequestParam("sex") int sex,&＃64;RequestParam("message") String message,&＃64;RequestParam("job") String job,&＃64;RequestParam("onlyMark") int onlyMark) {try {// 将参数build成一个json对象XContentBuilder content &＃61; XContentFactory.jsonBuilder().startObject().field("uniqueId", onlyMark).field("name", name).field("sex", sex).field("message", message).field("job", job).endObject();IndexResponse response &＃61; client.prepareIndex(index, type).setSource(content).get();return ResponseEntity.getSuccess(response.getResult()&＃43;""&＃43;response.getId(), HttpStatus.OK.value());} catch (Exception e) {e.printStackTrace();return new ResponseEntity(HttpStatus.INTERNAL_SERVER_ERROR.value());}}
}
3.1.4:查询index
通过id去查询,然后通过client(TransPortClient)的prepareGet方法去查询&＃xff0c;最后返回一个GetResponse结果然后获取它的source结果&＃xff1a;
/*** 按id查询** &＃64;param id* &＃64;return*/&＃64;GetMapping("/es/get")public ResponseEntity searchById(&＃64;RequestParam("id") String id) {if (id.isEmpty()) {return new ResponseEntity(HttpStatus.NOT_FOUND.value());}// 通过索引、类型、id向es进行查询数据GetResponse response &＃61; client.prepareGet(index, type, id).get();if (!response.isExists()) {return new ResponseEntity(HttpStatus.NOT_FOUND.value());}return ResponseEntity.getSuccess(response.getSource(), HttpStatus.OK.value());}
3.1.5:删除index
同样删除index&＃xff0c;也是通过id来匹配的&＃xff0c;id是唯一标志&＃xff0c;然后交给TransPort的prepareDelete方法去删除
/*** 按id删除数据** &＃64;param id* &＃64;return*/&＃64;GetMapping("/es/delete")public ResponseEntity delete(&＃64;RequestParam("id") String id) {DeleteResponse response &＃61; client.prepareDelete(index, type, id).get();return ResponseEntity.getSuccess(response.getResult(), HttpStatus.OK.value());}
3.1.6:更新index
通过获取更新的内容&＃xff0c;然后交给TransPort的update方法去更新需要更新的字段&＃xff0c;最终返回更新的内容&＃xff1a;
/*** 根据文档id更新某个文档的数据** &＃64;param uniqueId* &＃64;param name* &＃64;param sex* &＃64;param message* &＃64;param job* &＃64;return*/&＃64;PutMapping("/es/update")public ResponseEntity update(&＃64;RequestParam("id") String id,&＃64;RequestParam(value &＃61; "name", required &＃61; false) String name,&＃64;RequestParam(value &＃61; "sex", required &＃61; false) Integer sex,&＃64;RequestParam(value &＃61; "message", required &＃61; false) String message,&＃64;RequestParam(value &＃61; "job", required &＃61; false) String job,&＃64;RequestParam(value &＃61; "uniqueId", required &＃61; false) Integer uniqueId){UpdateRequest update &＃61; new UpdateRequest(index, type, id);try {XContentBuilder builder &＃61; XContentFactory.jsonBuilder().startObject();if (Objects.nonNull(name)) {builder.field("name", name);}if (Objects.nonNull(sex)) {builder.field("sex", sex);}if (Objects.nonNull(message)) {builder.field("message", message);}if (Objects.nonNull(job)) {builder.field("job", job);}if (Objects.nonNull(uniqueId)){builder.field("uniqueId",uniqueId);}builder.endObject();update.doc(builder);UpdateResponse response &＃61; client.update(update).get();return ResponseEntity.getSuccess(response.getResult(), HttpStatus.OK.value());} catch (Exception e) {e.printStackTrace();return new ResponseEntity(HttpStatus.INTERNAL_SERVER_ERROR.value());}}
3.2:测试
3.2.1:打开postman,然后我们来先来添加一个index,添加一些属性&＃xff0c;后台提示成功&＃xff1a;我们在去ES中查询一下&＃xff1a;
3.2.2:在服务器中打开&＃xff0c;然后输入查询所有index的命令&＃xff0c;查询animal这个index对应的数据&＃xff0c;可以看到我们的数据已经顺利添加&＃xff1a;
3.2.3:查询index
上面的方式是通过命令的方式来查询的&＃xff0c;我们再来通过程序来测试查询index&＃xff0c;可以看到数据查询到了:
3.2.4:更新index
后台通过传入的字段对指定有值的数据进行更新&＃xff0c;在这里我们更新message&＃xff1a;
3.2.5:为了验证我们的更改是否生效&＃xff0c;我们再查询一下这个index,发现message已经变化了&＃xff1a;
3.2.6&＃xff1a;删除index
3.2.7:同样我们在验证一下是否删除成功,可以看出total为0,也代表没有数据了&＃xff1a;
四&＃xff1a;总结
碍于篇幅&＃xff0c;本片博文就介绍到这里&＃xff0c;主要是讲述了ElasticSearch的官方API的使用&＃xff0c;以及搭建ES中的一些坑&＃xff0c;为了解决这些坑&＃xff0c;我在下班之余耗费了好几个星期研究这些问题&＃xff0c;ES的版本众多&＃xff0c;一定要注意版本的选择。本篇博文适合入门级别&＃xff0c;没有介绍ES的高级特性&＃xff0c;关于它本身具有很多高端特性&＃xff0c;实乃搜索利器&＃xff0c;我们不能把它作为数据库来看待&＃xff0c;实际上它本身可以理解为一个搜索引擎&＃xff0c;有着丰富的使用场景&＃xff0c;"它远大于数据库&＃xff0c;存储只是它的一个细小的功能"&＃xff0c;好了&＃xff0c;希望本篇博客可以帮助到你。
本篇博客的代码分享&＃xff1a;链接:https://pan.baidu.com/s/1k-E15_EtHArG3iYi_3wc9A 密码:0nbp
如果关于本篇博客有任何问题&＃xff0c;请加群&＃xff1a;618626589
参考文档&＃xff1a;https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html
京公网安备 11010802041100号