elasticsearch2.4升级elasticsearch6.2心得

服务端部分：

一、升级前准备

jdk1.8+；


二、安装步骤

1. 下载地址
   目前最高版本6.4，谨慎起见目前使用的是6.4之前最新的一个小版本6.3

   https://www.elastic.co/guide/en/elasticsearch/reference/6.3/parent-join.html

   
   



2. 创建elasticsearch用户和用户组（elasticsearch为了安全起见禁止了root操作权限）

   
   



3. tar -zxvf elasticsearch-6.3.2.tar.gz

   
   



4. 创建 data和logs目录（为后面的数据存储和日志存储的目录，所有创建的目录最后都必须所属elasticsearch用户和 用户组，不然会报没有写的权限错误） elasticsearch对系统每个进程最大同时打开文件数和进程可以拥有的VMA(虚拟内存区域)的数量有要求需要修改以下 两个文件 /etc/security/limits.conf soft nproc 65536 hard nproc 65536 /etc/sysctl.conf（修改完后需要执行sysctl -p 使之生效） vm.max_map_count=262144

   
   



5. 修改配置文件

   
   

# 集群的名字
cluster.name: cunjk
# 节点名字
node.name: node-1
# 数据存储目录（刚刚我们创建的目录的绝对地址）
path.data: /opt/elasticsearch/data
# 日志目录
path.logs: /opt/elasticsearch/logs
#本机的ip地址
network.host: xxx.xxx.x.xxx
#设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点
discovery.zen.ping.unicast.hosts: ["xxx.xxx.x.xxx]
# 设置节点间交互的tcp端口（集群）,(默认9300)
transport.tcp.port: 9300
# 监听端口（默认）
http.port: 9200
# 增加参数，使head插件可以访问es
http.cors.enabled: true
http.cors.allow-origin: "*"
# 开启内联脚本
script.allowed_types: inline


三、注意事项 启动的时候必须使用elasticsearch用户,且安装的elasticsearch先关文件必须是elasticsearch的用户和用户组所属权限

elasticsearch是根据cluster.name来判别集群的,如果服务器上有多个集群必须区分
elasticsearch集群启动必须先启动主节点


代码部分：

一、pom依赖

1. lucene依赖7以上,elasticsearch为选定的6.x版本,jdk1.8+

二、API

1. 5.x以上废弃父子文档关系,改为使用join连接详见文档https://www.elastic.co/guide/en/elasticsearch/reference/6.3/parent-join.html

{
"settings": {
"number_of_shards": 3,
"number_of_replicas": 0
},
"mappings": {
"_doc": {
"properties": {
"t_join_field": {
"type": "join",
"relations": {
"account": "drug_sale"
}
}
}
}
}
}


2. javaAPI参照 https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/index.html

   
   



3. restfulAPI参照 https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

   
   

三、应用部分值得注意的重要更改

1. 创建连接客户端已取消TransportClient.builder()直接构建改为更安全的PreBuiltTransportClient()构建

   
   



2. 返回的field信息已不支持addField方法,API入口仍然保留但已弃用,github源码声明会在更高的版本完全弃用

   
   



3. join结构的父子关系不在使用parent(parent_id)指定,理由同addField,此处需借鉴restul接口,直接声明json串

   
   



4. 5.x以后restful的调用需要声明请求类型 请求需要加上

   
   

-H "Content-Type:application/json"
例如 curl -X GET -H "Content-Type:application/json" ‘http://xxx.xxx.x.xxx:9200/xxxx/_search?pretty‘ -d
‘{"query": {"has_child": {"type": "drug_sale","query": {"term": {"card_id": "80048540"}}}},"_source":["card_id","name"]}‘


5. 单次最大查询量,创建索引后需执行,不然会影响滚动查询和全量查询(暂未找到对应配置)

curl -XPUT -H "Content-Type:application/json" ‘http://xxx.xxx.xx.xxx:9200/_all/_settings?preserve_existing=true‘ -d ‘{"index.max_result_window" : "30000"}‘


其他聚合及删除查询API的更改不再赘述

较与版本2.4的比较

一、速度上有了提升,尤其是删除方面6比2多了指定查询删除,在elasticsearch2.4时只能先查后删进行滚动删除比较影响数据更新的速度,6.xz之后的指定删除功能速度提高了好几倍,这样大大的提高了需要删除来进行更新的功能 其次在直接更新的速度上6较与2也有提升

二、在聚合查询和大数据量查询上,elasticsearch6.x 的Sliced Scroll的并行特性可以加快大数据量或需要大量筛查的数据的速度

升级心得

elasticsearch6.3.2的升级和测试持续了三周,在升级过程中遇到一些坑,由于elasticsearch官网对javaAPI的支持并不友好,主要还是restful接口的 描述上述标注的地方有的并未写在文档中,需要去javaAPI翻查源代码对比restful接口调试elasticsearch官网对javaAPI的支持并不全,优先功能建议先 调试restful接口,然后翻查源码,javaAPI的底层仍是调用的restful接口