大数据之ES：简介与Window部署、Linux单机和Linux集群部署以及集群部署问题

记录下&＃xff0c;部分叙述说明参考网上资源和尚硅谷开放资源&＃xff0c;如有侵权&＃xff0c;请联系删除

简介

ES是分布式、RESTful风格的搜索和数据分析引擎。作为The Elastic Stack的核心

The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash&＃xff08;也称为 ELK Stack&＃xff09;。

能够安全可靠地获取任何来源、任何格式的数据&＃xff0c;然后实时地对数据进行搜索、分析和可视

化。Elaticsearch&＃xff0c;简称为 ES&＃xff0c;ES 是一个开源的高扩展的分布式全文搜索引擎&＃xff0c;是整个 Elastic

Stack 技术栈的核心。它可以近乎实时的存储、检索数据&＃xff1b;本身扩展性很好&＃xff0c;可以扩展到上

百台服务器&＃xff0c;处理 PB 级别的数据。

全文搜索引擎

Google&＃xff0c;百度类的网站搜索&＃xff0c;它们都是根据网页中的关键字生成索引&＃xff0c;我们在搜索的时候输入关键字&＃xff0c;它们会将该关键字即索引匹配到的所有网页返回&＃xff1b;还有常见的项目中应用日志的搜索等等。对于这些非结构化的数据文本&＃xff0c;关系型数据库搜索不是能很好的支持。一般传统数据库&＃xff0c;全文检索都实现的很鸡肋&＃xff0c;因为一般也没人用数据库存文本字段。进行全文检索需要扫描整个表&＃xff0c;如果数据量大的话即使对 SQL 的语法优化&＃xff0c;也收效甚微。建立了索引&＃xff0c;但是维护起来也很麻烦&＃xff0c;对于 insert 和 update 操作都会重新构建索引。

基于以上原因可以分析得出&＃xff0c;在一些生产环境中&＃xff0c;使用常规的搜索方式&＃xff0c;性能是非常差的&＃xff1a;

• 搜索的数据对象是大量的非结构化的文本数据。

• 文件记录量达到数十万或数百万个甚至更多。

• 支持大量基于交互式文本的查询。

• 需求非常灵活的全文搜索查询。

• 对高度相关的搜索结果的有特殊需求&＃xff0c;但是没有可用的关系数据库可以满足。

• 对不同记录类型、非文本数据操作或安全事务处理的需求相对较少的情况。

为了解决结构化数据搜索和非结构化数据搜索性能问题&＃xff0c;我们就需要专业&＃xff0c;健壮&＃xff0c;强大的全文搜索引擎

这里说到的全文搜索引擎指的是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词&＃xff0c;对每一个词建立一个索引&＃xff0c;指明该词在文章中出现的次数和位置&＃xff0c;当用户查询时&＃xff0c;检索程序就根据事先建立的索引进行查找&＃xff0c;并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。

Elasticsearch And Solr

Lucene 是 Apache 软件基金会 Jakarta 项目组的一个子项目&＃xff0c;提供了一个简单却强大的应用程式接口&＃xff0c;能够做全文索引和搜寻。在 Java 开发环境里 Lucene 是一个成熟的免费开源工具。就其本身而言&＃xff0c;Lucene 是当前以及最近几年最受欢迎的免费 Java 信息检索程序库。

但 Lucene 只是一个提供全文搜索功能类库的核心工具包&＃xff0c;而真正使用它还需要一个完善的服务框架搭建起来进行应用。目前市面上流行的搜索引擎软件&＃xff0c;主流的就两款&＃xff1a;Elasticsearch 和 Solr,这两款都是基于 Lucene 搭建的&＃xff0c;可以独立部署启动的搜索引擎服务软件。由于内核相同&＃xff0c;所以两者除了服务器安装、部署、管理、集群以外&＃xff0c;对于数据的操作 修改、添加、保存、查询等等都十分类似。

在使用过程中&＃xff0c;一般都会将 Elasticsearch 和 Solr 这两个软件对比&＃xff0c;然后进行选型。这两个搜索引擎都是流行的&＃xff0c;先进的的开源搜索引擎。它们都是围绕核心底层搜索库 - Lucene构建的

但它们又是不同的。像所有东西一样&＃xff0c;每个都有其优点和缺点&＃xff1a;

• 二者安装都很简单&＃xff1b;
• Solr 利用 Zookeeper 进行分布式管理&＃xff0c;而 Elasticsearch 自身带有分布式协调管理功能;
• Solr 支持更多格式的数据&＃xff0c;而 Elasticsearch 仅支持json文件格式&＃xff1b;
• Solr 官方提供的功能更多&＃xff0c;而 Elasticsearch 本身更注重于核心功能&＃xff0c;高级功能多有第三方插件提供&＃xff1b;
• Solr 在传统的搜索应用中表现好于 Elasticsearch&＃xff0c;但在处理实时搜索应用时效率明显低于 Elasticsearch。
• Solr 是传统搜索应用的有力解决方案&＃xff0c;但 Elasticsearch 更适用于新兴的实时搜索应用。

ES OR Solr

• ES由于易于使用&＃xff0c;Elasticsearch 在新开发者中更受欢迎。

• 如果除了搜索文本之外还需要它来处理分析查询&＃xff0c;Elasticsearch 是更好的选择

• 如果需要分布式索引&＃xff0c;则需要选择 Elasticsearch。对于需要良好可伸缩性和以及性能分布式环境&＃xff0c;Elasticsearch 是更好的选择。

• Elasticsearch 在开源日志管理用例中占据主导地位&＃xff0c;许多组织在 Elasticsearch 中索引它们的日志以使其可搜索。

• 如果需要监控和指标查看&＃xff0c;那么请使用 Elasticsearch&＃xff0c;因为相对于 Solr&＃xff0c;Elasticsearch 暴露了更多的关键指标

Elasticsearch 应用案例

• GitHub: 2013 年初&＃xff0c;抛弃了 Solr&＃xff0c;采取 Elasticsearch 来做 PB 级的搜索。“GitHub 使用Elasticsearch 搜索 20TB 的数据&＃xff0c;包括 13 亿文件和 1300 亿行代码”。

• 维基百科&＃xff1a;启动以 Elasticsearch 为基础的核心搜索架构

• SoundCloud&＃xff1a;“SoundCloud 使用 Elasticsearch 为 1.8 亿用户提供即时而精准的音乐搜索服务”。

• 百度&＃xff1a;目前广泛使用 Elasticsearch 作为文本数据分析&＃xff0c;采集百度所有服务器上的各类指标数据及用户自定义数据&＃xff0c;通过对各种数据进行多维分析展示&＃xff0c;辅助定位分析实例异常或业务层面异常。目前覆盖百度内部 20 多个业务线&＃xff08;包括云分析、网盟、预测、文库、直达号、钱包、风控等&＃xff09;&＃xff0c;单集群最大 100 台机器&＃xff0c;200 个 ES 节点&＃xff0c;每天导入 30TB&＃43;数据。

• 新浪&＃xff1a;使用 Elasticsearch 分析处理 32 亿条实时日志。

• 阿里&＃xff1a;使用 Elasticsearch 构建日志采集和分析体系。

• Stack Overflow&＃xff1a;解决 Bug 问题的网站&＃xff0c;全英文&＃xff0c;编程人员交流的网站。

安装部署

Windows安装

• 下载

  Elasticsearch 的官方地址&＃xff1a;https://www.elastic.co/cn/

  建议下载使用半年前的版本&＃xff0c;比较稳定

  这里使用的是7.8.0版本

• 安装

  安装比较简单&＃xff0c;直接解压即可

• 启动服务

  进入 bin 文件目录&＃xff0c;点击 elasticsearch.bat 文件启动 ES 服务

  注意&＃xff1a;9300 端口为 Elasticsearch 集群间组件的通信端口&＃xff0c;9200 端口为浏览器访问的http协议RESTful端口。

• 测试访问

  浏览器&＃xff08;推荐使用谷歌浏览器&＃xff09;&＃xff0c;输入地址&＃xff1a;http://localhost:9200&＃xff0c;测试结果

{"name" : "DESKTOP-HC495PP","cluster_name" : "elasticsearch","cluster_uuid" : "Ebmrplk5TOi06oKvLXbPcA","version" : {"number" : "7.8.0","build_flavor" : "default","build_type" : "zip","build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65","build_date" : "2020-06-14T19:35:50.234439Z","build_snapshot" : false,"lucene_version" : "8.5.1","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}


• windows版本常见问题

  • Elasticsearch 是使用 java 开发的&＃xff0c;且 7.8 版本的 ES 需要 JDK 版本 1.8 以上&＃xff0c;默认安装包带有 jdk 环境&＃xff0c;果系统配置 JAVA_HOME&＃xff0c;那么使用系统默认的 JDK&＃xff0c;如果没有配置使用自带的 JDK&＃xff0c;一般建议使用系统配置的 JDK。

  • 双击启动窗口闪退&＃xff0c;通过路径访问追踪错误&＃xff0c;如果是“空间不足”&＃xff0c;请修改config/jvm.options 配置文件

    # 设置 JVM 初始内存为 1G。此值可以设置与-Xmx 相同&＃xff0c;以避免每次垃圾回收完成后 JVM 重新分配内存
# Xms represents the initial size of total heap space
# 设置 JVM 最大可用内存为 1G
# Xmx represents the maximum size of total heap space
-Xms1g
-Xmx1g


Linux单机安装

• 下载

  同上地址&＃xff0c;使用7.8.0版本

• 上传到linux目录

• 解压

  # 解压缩
tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
# 改名
mv elasticsearch-7.8.0 es


• 创建用户

  因为安全问题&＃xff0c;es不允许root用户直接运行

  个人演示使用mym用户&＃xff0c;没有非root用户时可以按照如下规则创建es用户

  useradd es #新增 mym 用户
passwd es #为 mym 用户设置密码
userdel -r es #如果错了&＃xff0c;可以删除再加
chown -R es:es /opt/module/es #文件夹所有者


• 修改配置文件

  修改/opt/module/es/config/elasticsearch.yml 文件

  # 加入如下配置
cluster.name: elasticsearch
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]


  修改/etc/security/limits.conf

  这里的es指的是es用户&＃xff0c;而不是es程序&＃xff0c;若用的是其他用户记得修改

  # 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536


  修改/etc/security/limits.d/20-nproc.conf

  这里的es指的是es用户&＃xff0c;而不是es程序&＃xff0c;若用的是其他用户记得修改

  # 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注&＃xff1a;* 带表 Linux 所有用户名称


  以上配置改了需要重启服务才生效

  修改/etc/sysctl.conf

  # 在文件中增加下面内容
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count&＃61;655360


  重新加载

  sysctl -p


• 启动ES服务

  记得使用es或非root用户上述配置使用的用户去启动

  cd /opt/module/es/
#启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d


  &＃xff08;1&＃xff09;若启动报错&＃xff0c;原因是java版本不对&＃xff0c;es7.8要求java11&＃xff0c;个人系统是java8

  [mym&＃64;mini1 es]$ bin/elasticsearch
future versions of Elasticsearch will require Java 11; your Java version from [/usr/local/java8/jre] does not meet this requirement


  修改es读取的jdk版本&＃xff0c;es自带一个jdk&＃xff0c;让他读自己的

  vi bin/elasticsearch-env把如下内容加到前面

  export JAVA_HOME&＃61;/opt/module/es/jdk
export PATH&＃61;$JAVA_HOME/bin:$PATHif [ -x "$JAVA_HOME/bin/java" ]; thenJAVA&＃61;"/opt/module/es/jdk"
elseJAVA&＃61;&＃96;which java&＃96;
fi


  &＃xff08;2&＃xff09;若启动报错如下

  [mym&＃64;mini1 bin]$ bin/elasticsearch
Exception in thread "main" org.elasticsearch.bootstrap.BootstrapException: java.nio.file.FileAlreadyExistsException: /opt/module/es/config/elasticsearch.keystore.tmp
Likely root cause: java.nio.file.FileAlreadyExistsException: /opt/module/es/config/elasticsearch.keystore.tmpat java.base/sun.nio.fs.UnixException.translateToIOException(UnixException.java:94)at java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:111)at java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:116)at java.base/sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvider.java:219)at java.base/java.nio.file.spi.FileSystemProvider.newOutputStream(FileSystemProvider.java:478)at java.base/java.nio.file.Files.newOutputStream(Files.java:224)at org.apache.lucene.store.FSDirectory$FSIndexOutput.<init>(FSDirectory.java:410)at org.apache.lucene.store.FSDirectory$FSIndexOutput.<init>(FSDirectory.java:406)at org.apache.lucene.store.FSDirectory.createOutput(FSDirectory.java:254)at org.elasticsearch.common.settings.KeyStoreWrapper.save(KeyStoreWrapper.java:488)at org.elasticsearch.bootstrap.Bootstrap.loadSecureSettings(Bootstrap.java:259)at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:349)at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:170)at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:161)at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86)at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:127)at org.elasticsearch.cli.Command.main(Command.java:90)at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:126)at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92)


  解决&＃xff1a;提示文件已经存在&＃xff0c;应该是第一次启动失败后生成的&＃xff0c;删掉/opt/module/es/config/elasticsearch.keystore.tmp即可

• 关闭防火墙方便测试

  #暂时关闭防火墙
systemctl stop firewalld
#永久关闭防火墙
systemctl enable firewalld.service #打开放货抢永久性生效&＃xff0c;重启后不会复原
systemctl disable firewalld.service #关闭防火墙&＃xff0c;永久性生效&＃xff0c;重启后不会复原


• 测试

  浏览器中输入地址&＃xff1a;http://192.168.2.201:9200/

  响应如下

  {"name" : "node-1","cluster_name" : "elasticsearch","cluster_uuid" : "t8AkE4PSQ9OSJeUinZPGDA","version" : {"number" : "7.8.0","build_flavor" : "default","build_type" : "tar","build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65","build_date" : "2020-06-14T19:35:50.234439Z","build_snapshot" : false,"lucene_version" : "8.5.1","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}


Linux集群安装

• 下载并解压并三台机器分发

• 每台机器记得创建es用户&＃xff0c;不能用root

• 修改配置文件

  这里与单机部署不一样配置

  修改/opt/module/es/config/elasticsearch.yml 文件&＃xff0c;分发文件

  # 加入如下配置
#集群名称
cluster.name: cluster-es
#节点名称&＃xff0c;每个节点的名称不能重复
node.name: node-1
#ip 地址&＃xff0c;每个节点的地址不能重复
network.host: mini1
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9200
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置&＃xff0c;初始化一个新的集群时需要此配置来选举 master 这里集群里的都配置同一个
cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置&＃xff0c;节点发现
discovery.seed_hosts: ["mini1:9300","mini2:9300","mini3:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数&＃xff0c;默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数&＃xff0c;默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时&＃xff0c;并发恢复线程的个数&＃xff0c;默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16


  修改/etc/security/limits.conf&＃xff0c;分发文件

  注意es是用户名如果使用其他用户记得修改正确

  # 在文件末尾中增加下面内容
es soft nofile 65536
es hard nofile 65536


  修改/etc/security/limits.d/20-nproc.conf&＃xff0c;分发文件

  注意es是用户名如果使用其他用户记得修改正确

  # 在文件末尾中增加下面内容
es soft nofile 65536
es hard nofile 65536
* hard nproc 4096
# 注&＃xff1a;* 带表 Linux 所有用户名称


  修改/etc/sysctl.conf

  # 在文件中增加下面内容
vm.max_map_count&＃61;655360


  重新加载

  sysctl -p


• 启动软件

  分别在不同的节点上启动软件

  #启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d


  记得如果jdk不是jdk11&＃xff0c;记得修改elasticsearch-env文件修改es使用自己的jdk&＃xff0c;修改内容如下

  export JAVA_HOME&＃61;/opt/module/es/jdk
export PATH&＃61;$JAVA_HOME/bin:$PATHif [ -x "$JAVA_HOME/bin/java" ]; thenJAVA&＃61;"/opt/module/es/jdk"
elseJAVA&＃61;&＃96;which java&＃96;
fi


• 测试集群

  个人跑的时候报错了

  [mym&＃64;mini3 es]$ bin/elasticsearch -d
  [mym&＃64;mini3 es]$ ERROR: [1] bootstrap checks failed
  [1]: max number of threads [3851] for user [mym] is too low, increase to at least [4096]
  ERROR: Elasticsearch did not exit normally - check the logs at /opt/module/es/logs/cluster-es.log

  意思是上述几个配置项有没生效的&＃xff0c;重启下服务器就好了

  jps可以看到一个Elasticsearch进程

  浏览器中输入地址&＃xff1a;http://192.168.2.201:9200

  响应如下

  {"name" : "node-1","cluster_name" : "cluster-es","cluster_uuid" : "t8AkE4PSQ9OSJeUinZPGDA","version" : {"number" : "7.8.0","build_flavor" : "default","build_type" : "tar","build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65","build_date" : "2020-06-14T19:35:50.234439Z","build_snapshot" : false,"lucene_version" : "8.5.1","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}


  查看集群节点&＃xff1a;http://192.168.2.201:9200/_cat/nodes

  响应

  ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.2.201 16 94 15 1.70 1.14 0.80 dilmrt - node-1
192.168.2.203 38 93 4 0.17 0.21 0.21 dilmrt - node-3
192.168.2.202 18 93 4 0.22 0.51 0.41 dilmrt * node-2


集群启动异常问题

集群不能发现

现象是每台服务各自为政&＃xff0c;没有互相发现为集群加入。查看启动日志发现Cluster UUID都不一样&＃xff0c;说明各自作为一个集群初始化节点了&＃xff0c;都在等别人加入&＃xff0c;自己都是master&＃xff01;&＃xff01;&＃xff01;

发生这个的原因是一开始如下配置每个节点都配置单独自己了&＃xff0c;导致每个节点启动时把自己作为master初始化集群了。这里所有节点都要配置一摸一样的&＃xff0c;配一个或多个都可以&＃xff0c;这只在集群初始化时为了选一个master用&＃xff0c;之后有新节点或者集群重启时这个配置就不会被用到。

#es7.x 之后新增的配置&＃xff0c;初始化一个新的集群时需要此配置来选举 master 这里集群里的都配置同一个
cluster.initial_master_nodes: ["node-1"]


解决&＃xff1a;需要把es目录下的data目录里的nodes删除&＃xff0c;里面有初始化的集群信息&＃xff0c;删掉nodes目录&＃xff0c;并改好配置重启即可

数据格式映射

Elasticsearch 是面向文档型数据库&＃xff0c;一条数据在这里就是一个文档。为了方便大家理解&＃xff0c;我们将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比

ES 里的 Index 可以看做一个库&＃xff0c;而 Types 相当于表&＃xff0c;Documents 则相当于表的行。这里 Types 的概念已经被逐渐弱化&＃xff0c;Elasticsearch 6.X 中&＃xff0c;一个 index 下已经只能包含一个type&＃xff0c;Elasticsearch 7.X 中, Type 的概念已经被删除了。