热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

ElasticSearch单机部署多实例环境

摘要:ElasticSearch 6.0.0PS:本文针对ElasticSearch版本6.0.0,各位看官看之前麻烦看一下自己使用的版本,版本不一样,使用也不一样。通常我们认为一

ElasticSearch 单机部署多实例环境

摘要: ElasticSearch 6.0.0


PS:本文针对ElasticSearch版本6.0.0,各位看官看之前麻烦看一下自己使用的版本,版本不一样,使用也不一样。


通常我们认为一个集群是一组拥有相同cluster_name的节点组成的,因此也可以变相的认为单节点就构成了一个集群。


之前有提到如何在服务器上部署es的单个实例,在安装完之后我们来查看这个由单节点构成的集群的cluster health,执行命令:


curl 'http://127.0.0.1:9200/_cluster/health?pretty', 


ElasticSearch 单机部署多实例环境


可以发现这个单节点集群的健康状态显示为yellow,而不是完全健康的状态,这代表着所有的主分片都正常运行,集群可以正常工作,但是副本分片没有全部正常运行。


具体到这个案例中,集群健康显示为yellow的原因是因为所有的副本分片都没有分配到节点中,看上方截图的unassigned shards 。这是因为副本分片本就是用来做冗余备份的,如果只有一个节点,副本分片和主分片都存在同一个节点中,一旦失去唯一节点,则所有数据都会丢失,所以备份没有意义,es没有给副本分片分配到节点中。


既然这个原因是只有单个节点导致的,则可以通过在单机上部署多个节点来解决该问题。对于部署多个节点,官方文档的建议是:可以完全依照启动第一个节点的方式启动一个新的节点,亲测并不能行。。。。


下面是具体操作步骤,遇到的问题和解决方案:


  1. 按照官方文档所述,直接又执行了一遍命令:./bin/elasticsearch -d -Ecluster.name=my_cluster -Enode.name=node_2, 现状是直接报错了,错误信息如下:


ElasticSearch 单机部署多实例环境


错误信息提示要么是没有目录的写权限要么是node.max_local_storage_nodes 这个配置参数没有配置或者配置的是1;官方文档搜一下会发现es默认不允许单机开启多个node的,该参数限制了单机可以开启的es实例个数。


    2. 修改$ES_HOME/config下的文件elasticsearch.yml,增加配置项 node.max_local_storage_nodes: 2  


    3. kill之前运行的节点,然后依次执行如下命令:


ElasticSearch 单机部署多实例环境


可以看到创建node_1之后,集群健康状态是yellow,但是创建node_2之后,健康状态就是green了,此时unassigned_shards也是0,如下图:


ElasticSearch 单机部署多实例环境 


     4. 上面其实已经算是实现了本文的功能,但是可以看到上文所有的操作步骤都是通过命令行实现的,如果需要开启很多个实例并且每个实例都有些不一样的话,显然命令行不是一个明智的选择。可以考虑在$ES_HOME/config下创建单独文件夹来存放节点单独的配置文件,一个节点对应一个文件夹, 操作如下:


[[email protected] /usr/java/elasticsearch-6.0.0/config]$ mkdir my_cluster

[[email protected] /usr/java/elasticsearch-6.0.0/config]$ cp elasticsearch.yml jvm.options log4j2.properties my_cluster/

[[email protected] /usr/java/elasticsearch-6.0.0/config]$ cd my_cluster/

[[email protected] /usr/java/elasticsearch-6.0.0/config/my_cluster]$ ll

total 16

-rw-rw---- 1 java java 3521 Dec  7 21:37 elasticsearch.yml

-rw-rw---- 1 java java 2672 Dec  7 18:20 jvm.options

-rw-rw---- 1 java java 5091 Dec  7 18:20 log4j2.properties


再修改elasticsearch.yml的配置内容(此处提一下遇到的坑,网上很多博客里面的配置都是非常老的版本的es了,直接用的话会导致很多报错,读者一定要看下对应的版本):


ElasticSearch 单机部署多实例环境


5. 修改完之后执行命令:./bin/elasticsearch -Epath.cOnf=/usr/java/elasticsearch-6.0.0/config/my_cluster -Ecluster.name=my_cluster -Enode.name=node_2   会发现有报错,看一下错误信息:


ElasticSearch 单机部署多实例环境


查看了文档和官方论坛,对于为什么不能使用-Epath.conf也没有一个明确的解释,只看到说可以用脚本来启动节点。遂写了两个启动脚本:


#!/bin/bash

#es实例启动脚本


CURRENT_PROJECT=$(pwd)/..

//节点的配置信息

export ES_PATH_COnF=$CURRENT_PROJECT/config/default

DATA=$CURRENT_PROJECT/data

LOGS=$CURRENT_PROJECT/logs

REPO=$CURRENT_PROJECT/backups

NODE_NAME=node_1

CLUSTER_NAME=my_cluster


BASH_ES_OPTS="-Epath.data=$DATA -Epath.logs=$LOGS -Epath.repo=$REPO -Enode.name=$NODE_NAME -Ecluster.name=$CLUSTER_NAME"


$CURRENT_PROJECT/bin/elasticsearch -d $BASH_ES_OPTS


6. 分别执行两个脚本,第一个脚本正常运行,第二个就报错了,错误信息是:


  • max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

  • max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]


对应修改如下:


[[email protected] /usr/java/elasticsearch-6.0.0/logs1] sudo su   

[[email protected] /usr/java/elasticsearch-6.0.0/scripts] ulimit -n    //查看最大文件描述符个数        

1024

[[email protected] /usr/java/elasticsearch-6.0.0/scripts] ulimit -n 65536  //设置

[[email protected] /usr/java/elasticsearch-6.0.0/scripts] sysctl -w vm.max_map_count=262144

[[email protected] /usr/java/elasticsearch-6.0.0/scripts] su java     //切换到elasticsearch的执行账号,注意此时不可以退出root,因为文件描述符的设置只在当前session生效

[[email protected] /usr/java/elasticsearch-6.0.0/scripts] sh my_cluster_node_2.sh   //执行第二个脚本成功


最后,查看一下各个节点对应的最大文件描述符,执行命令:


curl -XGET 'localhost:9200/_nodes/stats/process?filter_path=**.max_file_descriptors&pretty'


ElasticSearch 单机部署多实例环境


符合预期。


ElasticSearch 单机部署多实例环境



推荐阅读
  • 本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤,包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践,涵盖节点选择、网络优化和性能调优等方面,旨在提升系统的稳定性和处理能力。此外,还提供了常见的故障排查方法和监控方案,帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]
  • 在尝试将 mysqldump 文件加载到新的 MySQL 服务器时,遇到因使用保留关键字 'table' 导致的语法错误。 ... [详细]
  • 本文详细介绍了在Linux系统上编译安装MySQL 5.5源码的步骤。首先,通过Yum安装必要的依赖软件包,如GCC、GCC-C++等,确保编译环境的完备。接着,下载并解压MySQL 5.5的源码包,配置编译选项,进行编译和安装。最后,完成安装后,进行基本的配置和启动测试,确保MySQL服务正常运行。 ... [详细]
  • 本文详细介绍了如何在Oracle VM VirtualBox中实现主机与虚拟机之间的数据交换,包括安装Guest Additions增强功能,以及如何利用这些功能进行文件传输、屏幕调整等操作。 ... [详细]
  • 本文详细介绍了在Windows系统中如何配置Nginx以实现高效的缓存加速功能,包括关键的配置文件设置和示例代码。 ... [详细]
  • Web动态服务器Python基本实现
    Web动态服务器Python基本实现 ... [详细]
  • 在项目需要国际化处理时,即支持多种语言切换的功能,通常有两种方案:单个包和多个包。本文将重点讨论单个包的实现方法。 ... [详细]
  • 本指南详细介绍了如何利用华为云对象存储服务构建视频点播(VoD)平台。通过结合开源技术如Ceph、WordPress、PHP和Nginx,用户可以高效地实现数据存储、内容管理和网站搭建。主要内容涵盖华为云对象存储系统的配置步骤、性能优化及安全设置,为开发者提供全面的技术支持。 ... [详细]
  • 本文介绍了如何在 Windows 系统上利用 Docker 构建一个包含 NGINX、PHP、MySQL、Redis 和 Elasticsearch 的集成开发环境。通过详细的步骤说明,帮助开发者快速搭建和配置这一复杂的技术栈,提升开发效率和环境一致性。 ... [详细]
  • 本文是对《敏捷软件开发:原则、模式与实践》一书的深度解析,书中不仅探讨了敏捷方法的核心理念及其应用,还详细介绍了面向对象设计的原则、设计模式的应用技巧及UML的有效使用。 ... [详细]
  • Maven + Spring + MyBatis + MySQL 环境搭建与实例解析
    本文详细介绍如何使用MySQL数据库进行环境搭建,包括创建数据库表并插入示例数据。随后,逐步指导如何配置Maven项目,整合Spring框架与MyBatis,实现高效的数据访问。 ... [详细]
  • 调试利器SSH隧道
    在开发微信公众号或小程序的时候,由于微信平台规则的限制,部分接口需要通过线上域名才能正常访问。但我们一般都会在本地开发,因为这能快速的看到 ... [详细]
  • CentOS下ProFTPD的安装与配置指南
    本文详细介绍在CentOS操作系统上安装和配置ProFTPD服务的方法,包括基本配置、安全设置及高级功能的启用。 ... [详细]
  • 基于 Vue 和 Element UI 实现的简洁登录界面设计
    本文介绍了一种利用 Vue.js 和 Element UI 框架构建的简洁登录界面设计。该设计不仅注重用户体验,还确保了界面的美观性和易用性。通过合理的布局和组件配置,实现了高效、响应式的登录功能,适用于多种前端应用场景。 ... [详细]
  • 在 Vue 应用开发中,页面状态管理和跨页面数据传递是常见需求。本文将详细介绍 Vue Router 提供的两种有效方式,帮助开发者高效地实现页面间的数据交互与状态同步,同时分享一些最佳实践和注意事项。 ... [详细]
author-avatar
lovelyCici9_569
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有