环境&＃xff1a;Centos 7&＃xff1b;jdk 8&＃xff1b;Elasticsearch 6.4.3&＃xff1b;Postman全局&＃xff1a;{{eshost}}&＃xff1a;http://ip:9200
简介
Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。Lucene是迄今为止最先进、性能最好的、功能最全的搜索引擎库。
但Lucene 只是一个库&＃xff0c;必须要懂一点搜索引擎原理的人才能用的好&＃xff0c;所以后来又有人基于 Lucene 进行封装&＃xff0c;写出了 Elasticsearch。
Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能&＃xff0c;但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性&＃xff0c;通过http请求就能进行操作了&＃xff0c;从而让全文搜索变得简单。
所以集成Elasticsearch&＃xff0c;也就是我们通过内置api操作ES服务器上的数据。
想要深入地理解ElasticSearch的工作原理&＃xff0c;特别是索引和查询这两个过程&＃xff0c;可以去查阅下Lucene的工作原理。
Elasticsearch一些内部用词概念&＃xff1a;
【索引Index】可以先简单理解为&＃xff1a;存放数据的地方&＃xff0c;类似mysql中的一个库
【类型Type】可以先简单理解为&＃xff1a;定义数据结构&＃xff0c;类似mysql中的一个表
【文档Document】可以先简单理解为&＃xff1a;数据&＃xff0c;类似mysql中的一个表中的一条条数据
搭建
0&＃xff0c;安装Jdk&＃xff1a;yum install java-1.8.0-openjdk
1&＃xff0c;安装Elasticsearch
法一&＃xff1a;elasticsearch官方网页下载&＃xff1a;https://www.elastic.co/cn/downloads/elasticsearch
法二&＃xff1a;使用wget下载命令&＃xff1a;wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz
2&＃xff0c;解压到 /usr/local&＃xff1a;tar -zxvf elasticsearch-6.4.3.tar.gz -C /usr/local
3&＃xff0c;运行Elasticsearch&＃xff0c;执行命令&＃xff1a;./bin/elasticsearch&＃xff0c;后面加上“-d”后台运行
Elasticsearch 要求不能使用超级用户root运行&＃xff0c;这里建立一个testuser账号
# 创建testuser账户&＃xff1a;adduser testuser
# 修改密码&＃xff1a;passwd testuser123
给testuser用户elasticsearch目录的授权&＃xff0c;切换至elasticsearch目录&＃xff0c;并以testuser用户运行
重新执行启动命令
如没有error&＃xff0c;应该就启动成功了
4&＃xff0c;新开一个终端&＃xff0c;用curl访问验证&＃xff1a;curl &＃39;http://localhost:9200/?pretty&＃39;
查看端口会发现&＃xff0c;启了9200和9300端口。9300是tcp通讯端口&＃xff0c;集群间和TCPClient都走的它&＃xff0c;9200是http协议的restful接口
5&＃xff0c;远程访问服务器Elasticsearch节点信息
由于本次安装在远程linux主机上&＃xff0c;故需要通过配置和开放防火墙9200端口
输入远程linux主机的公网ip&＃xff0c;端口号为9200&＃xff0c;显示无法访问
配置linux主机的防火墙&＃xff0c;开放9200端口命令&＃xff1a;
iptables -I INPUT -p tcp --dport 9200 -j ACCEPT
iptables-save
搭建过程可能会遇到的问题&＃xff1a;
[问题1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
报错描述&＃xff1a;文件描述符太低
解决办法&＃xff1a;切换到root用户&＃xff0c;修改/etc/security/limits.conf
su root
vim /etc/security/limits.conf
在文末加入&＃xff1a;
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
输入命令&＃xff1a;exit&＃xff0c;切换回testuser用户&＃xff0c;启动elasticsearch
[问题2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
报错描述&＃xff1a;max_map_count 的值是指一个进程最多可用于的内存映射区(memory map areas)&＃xff0c;在调用malloc会用到&＃xff0c;由mmap/mprotect生成。
解决办法&＃xff1a;切换到root用户&＃xff0c;修改配置/etc/sysctl.conf
su root
vim /etc/sysctl.conf
在文末加入&＃xff1a;
vm.max_map_count&＃61;655360
然后使其生效
sysctl -p
输入命令&＃xff1a;exit&＃xff0c;切换回testuser用户&＃xff0c;启动elasticsearch
[问题3]: 有时候启动elasticsearch时候会提示内存不足&＃xff0c;然后启动不了&＃xff0c;这时候可以改小jvm最小内存
解决办法&＃xff1a;
cat config/jvm.options
修改&＃xff1a;
-Xms1g 改成 -Xms512m
重新启动elasticsearch
[问题4]: ERROR: [1] bootstrap checks failed[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured.
解决办法&＃xff1a;修改elasticsearch.yml文件
修改&＃xff1a;
将 #cluster.initial_master_nodes: ["node-1", "node-2"]
修改为 cluster.initial_master_nodes: ["node-1"]
重新启动elasticsearch
[问题5]: [INFO][Ko.e.c.r.a.DiskThresholdMonitor] [ZAds5FP] low disk watermark [85%] exceeded on [ZAds5FPeTY-ZUKjXd7HJKA][ZAds5FP] [/opt/elasticsearch-6.2.4/data/nodes/0] free: 1.2gb[14.2%], replicas will not be assigned to this node
报错描述&＃xff1a;内存空间不够
解决办法&＃xff1a;
#调整jvm内存大小
vi bin/elasticsearch
ES_JAVA_OPTS&＃61;"-Xms512m -Xmx512m"
重新启动elasticsearch
[问题6]: 启动子节点报错Exception in thread "main" java.nio.file.AccessDeniedException
报错描述&＃xff1a;testuser不具备文件权限不足而被拒绝执行
解决办法&＃xff1a;给testuser用户添加slave的elasticsearch目录的授权
// chown -R 用户名 文件&＃xff08;目录&＃xff09;名
chown -R testuser /usr/local/salve1/elasticsearch-6.4.3/
重新启动elasticsearch
创建一个索引
直接通过请求&＃xff0c;创建一个简单的索引
备注&＃xff1a;keyword时不参与分词的&＃xff0c;必须全匹配
查询全部索引
给索引post插入数据
查询数据
编辑数据
注意&＃xff1a;Elasticsearch会先把&＃xff1a;如下id为2的数据删掉&＃xff0c;再新增
中文分词
中文分词使用IK分词效果比较好&＃xff0c;推荐一个开源的IK分词器&＃xff1a;
https://github.com/medcl/elasticsearch-analysis-ik
按照readme提示&＃xff0c;演示es版本是6.4.3&＃xff0c;直接用一下命令安装&＃xff1a;
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.3/elasticsearch-analysis-ik-6.4.3.zip
上面的这个analyzer可以替换成ik_max_word&＃xff0c;可以ik_smart效果是不同的&＃xff0c;ik_max_word比ik_smart更加细分
所以在上面创建索引指定分词时&＃xff0c;增加中文分词配置效果是最好的&＃xff1a;
- "analyzer": "ik_max_word",
- "search_analyzer": "ik_smart"
Elasticsearch-Head插件介绍
elasticsearch-head是一个界面化的集群操作和管理&＃xff0c;可用于监控 Elasticsearch 状态的客户端插件&＃xff0c;包括数据可视化、执行增删改查操作等。你可以通过插件把它集成到es服务器&＃xff08;首选方式&＃xff09;,也可以把elasticsearch-head项目下载下来&＃xff0c;本地启动&＃xff08;需要处理跨域问题&＃xff09;。
elasticsearch-head 插件的安装在 Linux 和 Windows 没什么区别&＃xff0c;安装之前确保当前系统已经安装 nodejs 即可。
下面是本地启动elasticsearch-head项目&＃xff1a;
一&＃xff0c;Elasticsearch分布式配置
1&＃xff0c;修改主节点配置文件&＃xff0c;vim config/elasticsearch.yml
#添加一下配置
cluster.name: kobe
node.name: master
node.master: true
重启master服务
2&＃xff0c;修改子节点配置文件&＃xff0c;vim config/elasticsearch.yml
cluster.name: kobe
node.name: slave1
http.port: 9800
#设置主动发现主节点地址
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]
重启slave服务&＃xff1b;如果提示id重复&＃xff0c;删除slave1文件夹下的data文件夹下的节点数据&＃xff0c;然后重启即可
二&＃xff0c;启动Elasticsearch-Head
方式一&＃xff1a;Elasticsearch服务器安装插件
方式二&＃xff1a;Chrome中安装插件
方式三&＃xff1a;elasticsearch-head项目下载下来&＃xff0c;本地启动
这里只记录方式三&＃xff1a;
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install 或者cnpm install&＃xff08;需要安装淘宝镜像&＃xff09;
npm run start
打开浏览器 http://localhost:9100/
可能出现的问题&＃xff1a;Failed to load http://192.168.0.191:9200/: Response to preflight request doesn&＃39;t pass access control check: No &＃39;Access-Control-Allow-Origin&＃39; header is present on the requested resource. Origin &＃39;http://localhost:9100&＃39; is therefore not allowed access.
问题描述&＃xff1a;无法正常连接到elasticsearch服务&＃xff0c;这是因为elasticsearch服务与elasticsearch-head之间可能存在跨越
解决&＃xff1a;修改elasticsearch配置即可&＃xff0c;在elastichsearch.yml中添加如下命名即可&＃xff1a;
#allow origin
http.cors.enabled: true
http.cors.allow-origin: "*"
连接成功显示&＃xff1a;
备注&＃xff1a;较粗的是主分片&＃xff0c;细线的是备份分片
参考文档&＃xff1a;
终于有人把Elasticsearch原理讲透了&＃xff01;
Mastering Elasticsearch(中文版)
京公网安备 11010802041100号