Elastic认证集群环境tar包安装准备

1. 考试是什么环境&＃xff1f;

考试是在 centos7 环境下考试的。

• 不同的题库会有不同的试题&＃xff0c;但大致都需要3-4个独立的集群环境。
• 有的集群1-2个节点
• 有的集群3-4个节点
  
  
  考虑到很多同学没有参加过类似的psi的在线考试&＃xff0c;所以多看几遍&＃xff1a;心里有数&＃xff0c;考试才不紧张。
• Elastic文档的位置&＃xff0c;考试不允许google、bing等搜索&＃xff0c;文档是唯一的参考方式。常见的操作建议烂熟于心&＃xff0c;稍微复杂点的建议对文档烂熟于心&＃xff0c;直接o&＃xff08;1&＃xff09;时间锁定文档。
• 考试环境介绍&＃xff0c;包含&＃xff1a;主机节点访问方式&＃xff0c;集群介绍等。

2. 我们该如何准备环境&＃xff1f;

2.1 自己本机windows搭建虚拟机环境

注意&＃xff1a;虚拟机选型&＃xff1a;centos 7&＃xff0c;其他不考虑。

2.2 自己本机部署docker

借助&＃xff1a;docker compose实现。

2.3 购买云服务器。

建议&＃xff1a;最小2核CPU&＃xff0c;4GB内存。
能搭建两个节点的集群。
可以用来模拟&＃xff1a;

• 1个集群两个节点。
  常见考题&＃xff1a;分片分配感知、集群主/副本分片异常等故障诊断等。
• 2个独立节点的集群。
  常见考题&＃xff1a;跨集群检索、机架awareness分片分配等。
  其他相关DSL&＃xff08;增、删、改、查、聚合、Mapping/template/analyzer、xpack安全等&＃xff09;一个节点的集群就能搞定。

3. Elasticsearch单节点集群环境tar部署

3.1 Elasticsearch 7.2.0 版本下载地址

https://www.elastic.co/cn/downloads/past-releases#elasticsearch

选择 Linux版本&＃xff0c;就可以完成下载。tar包或rpm包

3.2 将压缩包导入Centos7 机器环境。

3.3 基础配置准备&＃xff08;非考试重点&＃xff09;

3.3.1 新建elastic账号和用户组。

• Elasticsearch不支持root账户运行。
• 考试的时候&＃xff0c;账号名和用户组是elastic。
centos 7 执行命令&＃xff1a;

useradd elastic


3.3.2 解压压缩包得elasticsearch-7.2.0文件

• 将elasticsearch-7.2.0文件拷贝到指定路径&＃xff0c;路径自己定义即可。
• 为文件指定用户和用户组权限
  进入elasticsearch-7.2.0路径&＃xff0c;执行命令&＃xff1a;

chown -R elastic:elastic ./*


3.3.3 修改文件描述符数目

为什么要修改&＃xff1f;

• 原因1&＃xff1a; Elasticsearch 在节点和 HTTP 客户端之间进行通信也使用了大量的套接字&＃xff08;注&＃xff1a;sockets&＃xff09;。 所有这一切都需要足够的文件描述符。
• 原因2&＃xff1a;许多现代的 Linux 发行版本&＃xff0c;每个进程默认允许一个微不足道的 1024 文件描述符。这对一个小的 Elasticsearch 节点来说实在是太低了&＃xff0c;更不用说一个处理数以百计索引的节点。
  步骤1: 设置环境变量。

vim /etc/profile
ulimit -n 65535


用以设定同一时间打开的文件数的最大值为65535。

source /etc/profile


使得命令生效。
步骤2: 修改limits.conf配置文件。

• 用来限制打开文件数65535
• 用来限制打开最大的进程数32000
• 弹性搜索用户添加了无限内存锁

$ vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 32000
* hard nproc 32000
* hard memlock unlimited
* soft memlock unlimited


$ vim /etc/systemd/system.conf
DefaultLimitNOFILE&＃61;65536
DefaultLimitNPROC&＃61;32000
DefaultLimitMEMLOCK&＃61;infinity


$ systemctl daemon-reload


步骤3: 验证是否成功。
切换到elastic用户&＃xff0c;使用ulit -a 查看是否修改成功。
ulimit -a

3.3.4 修改 最大映射数量 MMP

Elasticsearch 对各种文件混合使用了 NioFs&＃xff08; 非阻塞文件系统&＃xff09;和 MMapFs &＃xff08; 内存映射文件系统&＃xff09;。
请确保你配置的最大映射数量&＃xff0c;以便有足够的虚拟内存可用于 mmapped 文件。这可以暂时设置&＃xff1a;

sysctl -w vm.max_map_count&＃61;262144


或者你可以在 /etc/sysctl.conf 通过修改 vm.max_map_count 永久设置它。

[root&＃64;4ad config]# tail -f /etc/sysctl.conf&＃96;在这里插入代码片&＃96;
vm.max_map_count&＃61;262144


3.3.5 禁用swapping

$ swapoff -a
$ vim /etc/sysctl.conf
vm.swappiness &＃61; 1


进行修改确认&＃xff1a;
$ sysctl -p
vm.swappiness &＃61; 1

3.4 elasticsearch.yml 配置&＃xff08;考试会考&＃xff09;

cluster.name: cluster1 #核心配置
node.name: node1 #核心配置
node.master: true #核心配置
node.data: true #核心配置
cluster.remote.connect: false #核心配置
network.host: 172.17.0.17 #核心配置
http.port: 9200 #核心配置
transport.port&＃xff1a;9300 #核心配置
discovery.seed_hosts: ["172.17.0.17:9300"] #核心配置
cluster.initial_master_nodes: ["172.17.0.17:9300"] #核心配置
path.data: /var/lib/elasticsearch #优化配置&＃xff0c;非必须
path.logs: /var/log/elasticsearch #优化配置&＃xff0c;非必须
bootstrap.memory_lock: true #优化内存配置&＃xff0c;非必须


注意&＃xff1a;考试的时候就基本如上所示&＃xff0c;没有任何注释。

• cluster.name: 集群名称&＃xff0c;唯一确定一个集群。
• node.name&＃xff1a;节点名称&＃xff0c;一个集群中的节点名称是唯一固定的&＃xff0c;不同节点不能同名。
• node.master: 主节点属性值
• node.data: 数据节点属性值
• network.host&＃xff1a; 本节点的ip
• http.port: 本节点的http端口
• transport.port&＃xff1a;9300——集群之间通信的端口&＃xff0c;若不指定默认&＃xff1a;9300
• discovery.seed_hosts:节点发现需要配置一些种子节点&＃xff0c;与7.X之前老版本&＃xff1a;disvoery.zen.ping.unicast.hosts类似&＃xff0c;一般配置集群中的全部节点
• cluster.initial_master_nodes&＃xff1a;指定集群初次选举中用到的具有主节点资格的节点&＃xff0c;称为集群引导&＃xff0c;只在第一次形成集群时需要。
path.data: /var/lib/elasticsearch 配置数据存储路径
path.logs: /var/log/elasticsearch 配置日志存储路径
bootstrap.memory_lock: true 为弹性搜索用户添加了无限内存锁

3.4 章节的考点包含但不限于&＃xff1a;

• 集群节点配置
  区分并会配置&＃xff1a;master&＃xff0c;data&＃xff0c;coordinate&＃xff0c;ingest等节点
• xpack安全配置
  设置Elasticsearch安全属性开关
• 节点自定义属性&＃xff08;冷、热等&＃xff09;冷热架构集群部署配置

3.5 jvm.option的设置

$ grep &＃39;^-Xm[sx]&＃39; /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g


这里针对4GB内存的机器环境&＃xff0c;预留分配2个节点&＃xff0c;所以堆内存大小&＃xff1a;设置了1GB。

• 实际生产环境中计算公式&＃xff1a;min&＃xff08;机器内存的一半&＃xff0c;32GB内存&＃xff09;。也就是说&＃xff1a;取机器环境内存的一半和32GB内存之间的小值。
• 实战中经常会遇到堆内存设置不合理的问题&＃xff0c;
• 具体原理推荐阅读&＃xff1a;https://blog.csdn.net/laoyang360/article/details/79998974

3.6 启动节点

实际考试中&＃xff0c;一般kibana会启动,elasticsearch集群可能不启动。
需要你&＃xff1a;
• 第一步&＃xff1a; ssh 登录到对应节点。

ssh node1


• 第二步&＃xff1a;启动 对应节点的Elasticsearch。
启动方法1&＃xff1a;后台启动

./elasticsearch -d


启动方法2&＃xff1a;非后台启动
能看到启动日志

./elasticsearch


4. Elasticsearch 双节点或多节点集群环境tar包部署

仅说明两个节点的配置&＃xff0c;多节点雷同&＃xff0c;不再赘述。
多节点elasticsearch.yml

4.1 节点1的配置如下&＃xff1a;

$ vim /elasticsearch-7.2.0/config/elasticsearch.yaml
cluster.name: cluster1
node.name: node1
node.master: true
node.data: true
node.ingest: true
network.host: 172.17.0.17
http.port: 9200
transport.port&＃xff1a;9300
discovery.seed_hosts: ["172.17.0.17:9300","172.17.0.17:9301"]
cluster.initial_master_nodes: ["172.17.0.17:9300","172.17.0.17:9301"]
path.data: /var/lib/elasticsearch #优化配置&＃xff0c;非必须
path.logs: /var/log/elasticsearch #优化配置&＃xff0c;非必须
bootstrap.memory_lock: true #优化配置&＃xff0c;非必须


启动服务

$ /elasticsearch-7.2.0/bin/elasticsearch -d


4.2 节点2的配置如下&＃xff1a;(伪节点&＃xff0c;其实还是在节点1)

cp -pr /elasticsearch-7.2.0 /elasticsearch-7.2.0_2

vim /elasticsearch-7.2.0_2/config/elasticsearch.yaml
cluster.name: cluster1
node.name: node2
node.master: true
node.data: true
node.ingest: true
network.host: 172.17.0.17
http.port: 9201
transport.port&＃xff1a;9301
discovery.seed_hosts: ["172.17.0.17:9300","172.17.0.17:9301"]
cluster.initial_master_nodes: ["172.17.0.17:9300","172.17.0.17:9301"]
path.data: /var/lib/elasticsearch #优化配置&＃xff0c;非必须
path.logs: /var/log/elasticsearch #优化配置&＃xff0c;非必须
bootstrap.memory_lock: true #优化配置&＃xff0c;非必须


启动服务

$ /elasticsearch-7.2.0_2/bin/elasticsearch -d


核心点&＃xff1a;
机器资源有限&＃xff0c;1台机器部署2-3甚至更多节点&＃xff0c;如何通信&＃xff1f;

• 设置相同ip
• 设置不同的http和tcp端口以区分不同节点
• 本质是伪集群
  注意切记&＃xff1a;实际业务线上环境&＃xff0c;建议所有Elasticsearch节点都是独立节点&＃xff0c;不要部署其他程序、其他后台进程&＃xff0c;以提高性能。如果内存足够大&＃xff0c;比如&＃xff1a;128GB、256GB&＃xff0c;单节点是浪费&＃xff0c;建议通过虚拟化方式切分开。

5. kibana环境部署

5.1 下载安装包

https://www.elastic.co/cn/downloads/past-releases#kibana
如图所示&＃xff1a;

5.2 解压安装包

5.3 修改kibana.yml配置

• 设定kibana端口
• 设定所在主机ip
• 指定Elasticsearch连接地址

$ vim /kibana-7.2.0-linux-x86_64/config/kibana.yml
server.port: 5601
server.host: "172.17.0.17"
elasticsearch.hosts: ["http://172.17.0.17:9200"]


5.4 启动kibana&＃xff08;基本不考&＃xff09;

注意&＃xff1a;不需要修改kibana的用户或者用户组权限。

nohup ./bin/kibana --allow-root & > /dev/null 2>&1


访问http://1172.17.0.17:5601/

6. 注意事项

6.1 我上面讲的都是考试实际考试的环境。

6.2 启动 &＃43; 参数的方式 也可以启动集群&＃xff0c;考试没有明确指定启动方式。

如下 也可以启动集群。

bin/elasticsearch -E node.name&＃61;cluster0node -E cluster.name&＃61;cluster0 -E path.data&＃61;cluster0_data -E discovery.type&＃61;single-node -E http.port&＃61;9200 -E transport.port&＃61;9300


参考连接&＃xff1a;
Exception in thread “main” java.nio.file.AccessDeniedException:
Elasticsearch进程内存锁定失败
吃透Elasticsearch 堆内存

更多Elastic认证细节内容&＃xff0c;请报名&＃64;毅铭天下