优秀到卓越就差比他更快搭建elk集群架构上篇

开源分布式搜索引擎&＃xff0c;特点有&＃xff1a;分布式&＃xff0c;零配置&＃xff0c;自动发现&＃xff0c;索引自动分片&＃xff0c;
索引副本机制&＃xff0c;restful 风格接口&＃xff0c;多数据源&＃xff0c;自动搜索负载等

官方网站&＃xff1a;
https://www.elastic.co

中文社区&＃xff1a;
https://elasticsearch.cn

官方参考文档&＃xff1a;
https://www.elastic.co/guide/en/elasticsearch/reference/6.6/setup-configuration-memory.html

下载地址&＃xff1a;
https://mirrors.tuna.tsinghua.edu.cn/elasticstack/6.x/yum/6.6.0/
elasticsearch-6.6.0.rpm
filebeat-6.6.0-x86_64.rpm
kibana-6.6.0-x86_64.rpm
logstash-6.6.0.rpm

环境&＃xff1a;虚拟环境&＃xff0c;关闭防火墙、setenforce 宽容模式&＃xff0c;保障能互相ping通&＃xff0c;必须有jdk-1.8.0及以上环境

步骤&＃xff1a;
1、 安装elasticsearch
检查Java环境&＃xff1a;

安装&＃xff08;提前下载好&＃xff0c;上传到服务器&＃xff09;

2、 elasticsearch目录和文件简介:

/etc/elasticsearch/elasticsearch.yml #配置文件
/etc/elasticsearch/jvm.options #java虚拟机
/etc/init.d/elasticsearch #服务启动脚本
/etc/sysconfig/elasticsearch #elasticsearch服务变量
/usr/lib/sysctl.d/elasticsearch.conf #设置elasticsearch用户使用的内存大小
/usr/lib/systemd/system/elasticsearch.service #添加系统服务文件
/var/log/elasticsearch/elasticsearch.log #日志文件路径

3、 修改配置文件&＃xff1a;更改以下行内容
vim /etc/elasticsearch/elasticsearch.yml

4、 创建数据目录&＃xff0c;并修改权限

5、分配锁定内存:
vim /etc/elasticsearch/jvm.options

6.修改锁定内存后&＃xff0c;无法重启&＃xff0c;解决方法如下&＃xff1a;
systemctl edit elasticsearch
添加&＃xff1a;
[Service]
LimitMEMLOCK&＃61;infinity
F2保存退出

重载内核&＃xff1a;
systemctl daemon-reload

启动elasticsearch服务&＃xff1a;需要多等一会
systemctl start elasticsearch
查看到服务端口号&＃xff1a;

7.查看单主机
访问&＃xff1a;http://192.168.2.130:9200/

&＃xff08;1&＃xff09;查看群集健康状态
http://192.168.2.130:9200/_cluster/health?pretty

&＃xff08;2&＃xff09;查看整个群集状态信息
http://192.168.2.130:9200/_cluster/state?pretty

&＃xff08;3&＃xff09;统计群集节点
curl -XGET ‘192.168.2.130:9200/_cat/nodes?human&pretty’

&＃xff08;4&＃xff09;查看群集所有节点详细信息
curl -XGET ‘192.168.2.130:9200/_nodes/_all/info/jvm.process?human&pretty’

8.下载es-head插件

https://github.com/mobz/elasticsearch-head
下载后&＃xff0c;解压&＃xff0c;复制crx目录下es-head.crx到桌面
改名es-head.crx为es-head.crx.zip
解压es-head.crx.zip到es-head.crx目录&＃xff0c;把目录es-head.crx&＃xff0c;上传到浏览器,方法&＃xff1a;右上角管理扩展-开发人员模式–直接拉到页面&＃xff0c;已安装的扩展能看到它&＃xff08;右上角多了个放大镜人形图标&＃xff09;

把localhost改成elastic节点ip点击连接&＃xff0c;就会有集群概览&＃xff0c;集群健康值

elasticsearch群集&＃xff1a;

状态颜色&＃xff1a;灰色&＃xff1a;未连接绿色&＃xff1a;数据完整态黄色&＃xff1a;副本不完整红色&＃xff1a;数据分片不完整紫色&＃xff1a;数据分片复制过程
群集主机角色&＃xff1a;主节点master&＃xff1a;负责管理调度工作节点&＃xff1a; 负责处理数据默认情况&＃xff0c;所有节点都是工作节点&＃xff0c;即主节点也处理数据


往群集中添加第二台主机&＃xff1a;192.168.2.135

1.安装es&＃xff0c;步骤参考第一台&＃xff0c;注意配置文件修改和第一台稍有不同

vim /etc/elasticsearch/elasticsearch.yml

node.name: node-2
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 192.168.2.135,127.0.0.1
http.port: 9200
discovery.zen.ping.unicast.hosts: [“192.168.2.130”, “192.168.2.135”]
discovery.zen.minimum_master_nodes: 2 #添加的值&＃61;节点数/2 &＃43; 1

2.创建数据目录&＃xff0c;并修改权限

mkdir -p /data/elasticsearch
chown -R elasticsearch.elasticsearch /data/elasticsearch/

3.分配锁定内存:

vim /etc/elasticsearch/jvm.options
-Xms1g #分配最小内存
-Xmx1g #分配最大内存,官方推荐为物理内存的一半&＃xff0c;但最大为32G

4.修改锁定内存后&＃xff0c;无法重启&＃xff0c;解决方法如下&＃xff1a;

systemctl edit elasticsearch
添加&＃xff1a;
[Service]
LimitMEMLOCK&＃61;infinity
F2保存退出

systemctl daemon-reload
systemctl start elasticsearch

往群集中添加第三台主机&＃xff1a;192.168.2.136

1.安装es&＃xff0c;步骤参考第一台&＃xff0c;注意配置文件需要修改

vim /etc/elasticsearch/elasticsearch.yml

node.name: node-3
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 192.168.2.136,127.0.0.1
http.port: 9200
discovery.zen.ping.unicast.hosts: [“192.168.2.130”, “192.168.2.136”]
discovery.zen.minimum_master_nodes: 2

2.创建数据目录&＃xff0c;并修改权限

mkdir -p /data/elasticsearch
chown -R elasticsearch.elasticsearch /data/elasticsearch/

3.分配锁定内存:

vim /etc/elasticsearch/jvm.options
-Xms1g #分配最小内存
-Xmx1g #分配最大内存,官方推荐为物理内存的一半&＃xff0c;但最大为32G

4.修改锁定内存后&＃xff0c;无法重启&＃xff0c;解决方法如下&＃xff1a;

systemctl edit elasticsearch
添加&＃xff1a;
[Service]
LimitMEMLOCK&＃61;infinity
F2保存退出

systemctl daemon-reload
systemctl start elasticsearch

5.创建索引index1时&＃xff0c;修改分片为3和副本数为2

curl -X PUT 192.168.2.130:9200/index1 -H ‘Content-Type: application/json’ -d ‘{
“settings” : {
“index” : {
“number_of_shards” : 3,
“number_of_replicas” : 2
}
}
}’

6.针对已有索引&＃xff0c;可修改副本数&＃xff0c;不可改分片数。下面语句把index1的副本数由2改为1

curl -X PUT ‘192.168.2.130:9200/index1/_settings?pretty’ -H ‘Content-Type: application/json’ -d ‘{
“settings”: {
“number_of_replicas”: “1”
}
}’
7.创建两个索引


验证&＃xff1a;查看到创建的索引