ELK简介，ES及相关组件安装（一）

1、环境的困境

• 开发人员不能登录线上服务器查看详细日志
• 各个系统都有日志&＃xff0c;日志数据分散难以查找
• 日志数据量大&＃xff0c;查询速度慢&＃xff0c;数据不够实时

2、ELK Stack解决方案

ElasticSearch&＃43;LogStash&＃43;Kibana&＃61;ELK Stack

官方文档地址&＃xff1a;elastic.co

ElasticSearch

LogStash

Kibana

3、认识ElasticSearch

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎&＃xff0c;基于RESTfulweb接口。ElasticSearch是用Java开发的&＃xff0c;并作为Apache许可条款下的开放源码发布&＃xff0c;是当前流行的企业级搜索引擎。设计用于云计算中&＃xff0c;能够达到实时搜索&＃xff0c;稳定&＃xff0c;可靠&＃xff0c;快速&＃xff0c;安装使用方便。构建在全文检索开源软件Lucene之上的Elasticsearch&＃xff0c;不仅能对海量规模的数据完成分布式索引与检索&＃xff0c;还能提供数据聚合分析。据国际权威的数据库产品评测机构DBEngines的统计&＃xff0c;在2016年1月&＃xff0c;Elasticsearch已超过Solr等&＃xff0c;成为排名第一的搜索引擎类应用

**概括&＃xff1a;**基于Restful标准的高扩展高可用的实时数据分析的全文搜索工具

4、ElasticSearch的基本概念

&＃xff08;1&＃xff09;Index
　　类似于mysql数据库中的database
&＃xff08;2&＃xff09;Type
　　类似于mysql数据库中的table表&＃xff0c;es中可以在Index中建立type&＃xff08;table&＃xff09;&＃xff0c;通过mapping进行映射。
&＃xff08;3&＃xff09;Document
　　由于es存储的数据是文档型的&＃xff0c;一条数据对应一篇文档即相当于mysql数据库中的一行数据row&＃xff0c;一个文档中可以有多个字段也就是mysql数据库一行可以有多列。
&＃xff08;4&＃xff09;Field
　　es中一个文档中对应的多个列与mysql数据库中每一列对应
&＃xff08;5&＃xff09;Mapping
　　可以理解为mysql或者solr中对应的schema&＃xff0c;只不过有些时候es中的mapping增加了动态识别功能&＃xff0c;感觉很强大的样子&＃xff0c;其实实际生产环境上不建议使用&＃xff0c;最好还是开始制定好了对应的schema为主。
&＃xff08;6&＃xff09;indexed
　　就是名义上的建立索引。mysql中一般会对经常使用的列增加相应的索引用于提高查询速度&＃xff0c;而在es中默认都是会加上索引的&＃xff0c;除非你特殊制定不建立索引只是进行存储用于展示&＃xff0c;这个需要看你具体的需求和业务进行设定了。
&＃xff08;7&＃xff09;Query DSL
　　类似于mysql的sql语句&＃xff0c;只不过在es中是使用的json格式的查询语句&＃xff0c;专业术语就叫&＃xff1a;QueryDSL。
GET/PUT/POST/DELETE分别类似与mysql中的select/update/delete…

5、Elasticsearch的架构

Gateway层
es用来存储索引文件的一个文件系统且它支持很多类型&＃xff0c;例如&＃xff1a;本地磁盘、共享存储&＃xff08;做snapshot的时候需要用到&＃xff09;、hadoop的hdfs分布式存储、亚马逊的S3。它的主要职责是用来对数据进行长持久化以及整个集群重启之后可以通过gateway重新恢复数据。

Distributed Lucene Directory

Gateway上层就是一个lucene的分布式框架&＃xff0c;lucene是做检索的&＃xff0c;但是它是一个单机的搜索引擎&＃xff0c;像这种es分布式搜索引擎系统&＃xff0c;虽然底层用lucene&＃xff0c;但是需要在每个节点上都运行lucene进行相应的索引、查询以及更新&＃xff0c;所以需要做成一个分布式的运行框架来满足业务的需要。

四大模块组件

districted lucene directory之上就是一些es的模块&＃xff0c;Index Module是索引模块&＃xff0c;就是对数据建立索引也就是通常所说的建立一些倒排索引等&＃xff1b;Search Module是搜索模块&＃xff0c;就是对数据进行查询搜索&＃xff1b;Mapping模块是数据映射与解析模块&＃xff0c;就是你的数据的每个字段可以根据你建立的表结构通过mapping进行映射解析&＃xff0c;如果你没有建立表结构&＃xff0c;es就会根据你的数据类型推测你的数据结构之后自己生成一个mapping&＃xff0c;然后都是根据这个mapping进行解析你的数据&＃xff1b;River模块在es2.0之后应该是被取消了&＃xff0c;它的意思表示是第三方插件&＃xff0c;例如可以通过一些自定义的脚本将传统的数据库&＃xff08;mysql&＃xff09;等数据源通过格式化转换后直接同步到es集群里&＃xff0c;这个river大部分是自己写的&＃xff0c;写出来的东西质量参差不齐&＃xff0c;将这些东西集成到es中会引发很多内部bug&＃xff0c;严重影响了es的正常应用&＃xff0c;所以在es2.0之后考虑将其去掉。

Discovery、Script

es4大模块组件之上有 Discovery模块&＃xff1a;es是一个集群包含很多节点&＃xff0c;很多节点需要互相发现对方&＃xff0c;然后组成一个集群包括选主的&＃xff0c;这些es都是用的discovery模块&＃xff0c;默认使用的是 Zen&＃xff0c;也可是使用EC2&＃xff1b;es查询还可以支撑多种script即脚本语言&＃xff0c;包括mvel、js、python等等。

Transport协议层

再上一层就是es的通讯接口Transport&＃xff0c;支持的也比较多&＃xff1a;Thrift、Memcached以及Http&＃xff0c;默认的是http&＃xff0c;JMX就是java的一个远程监控管理框架&＃xff0c;因为es是通过java实现的。

RESTful接口层

最上层就是es暴露给我们的访问接口&＃xff0c;官方推荐的方案就是这种Restful接口&＃xff0c;直接发送http请求&＃xff0c;方便后续使用nginx做代理、分发包括可能后续会做权限的管理&＃xff0c;通过http很容易做这方面的管理。如果使用java客户端它是直接调用api&＃xff0c;在做负载均衡以及权限管理还是不太好做。

6、RESTfull API

一种软件架构风格、设计风格&＃xff0c;而不是标准&＃xff0c;只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁&＃xff0c;更有层次&＃xff0c;更易于实现缓存等机制。在目前主流的三种Web服务交互方案中&＃xff0c;REST相比于SOAP&＃xff08;Simple Object Access protocol&＃xff0c;简单对象访问协议&＃xff09;以及XML-RPC更加简单明了

(Representational State Transfer意思是&＃xff1a;表述性状态传递)

它使用典型的HTTP方法&＃xff0c;诸如GET,POST.DELETE,PUT来实现资源的获取&＃xff0c;添加&＃xff0c;修改&＃xff0c;删除等操作。即通过HTTP动词来实现资源的状态扭转

GET 用来获取资源

POST 用来新建资源&＃xff08;也可以用于更新资源&＃xff09;

PUT 用来更新资源

DELETE 用来删除资源

7、CRUL命令

以命令的方式执行HTTP协议的请求
GET/POST/PUT/DELETE

示例&＃xff1a;
访问一个网页

curl www.baidu.com
curl -o tt.html www.baidu.com


显示响应的头信息

curl -i www.baidu.com


显示一次HTTP请求的通信过程

curl -v www.baidu.com


执行GET/POST/PUT/DELETE操作

curl -X GET/POST/PUT/DELETE url


8、CentOS7下安装ElasticSearch6.2.4

(1)配置JDK环境

配置环境变量

export JAVA_HOME&＃61;"/opt/jdk1.8.0_144"export PATH&＃61;"$JAVA_HOME/bin:$PATH"export CLASSPATH&＃61;".:$JAVA_HOME/lib"


(2)安装ElasticSearch6.2.4

下载地址&＃xff1a;https://www.elastic.co/cn/downloads/elasticsearch

启动报错&＃xff1a;

解决方式&＃xff1a;
bin/elasticsearch -Des.insecure.allow.root&＃61;true
或者修改bin/elasticsearch&＃xff0c;加上ES_JAVA_OPTS属性&＃xff1a;
ES_JAVA_OPTS&＃61;"-Des.insecure.allow.root&＃61;true"

再次启动&＃xff1a;

这是出于系统安全考虑设置的条件。由于ElasticSearch可以接收用户输入的脚本并且执行&＃xff0c;为了系统安全考 虑&＃xff0c;建议创建一个单独的用户用来运行ElasticSearch。

创建用户组和用户&＃xff1a;

groupadd esgroup
useradd esuser -g esgroup -p espassword


更改elasticsearch文件夹及内部文件的所属用户及组&＃xff1a;

cd /opt
chown -R esuser:esgroup elasticsearch-6.2.4


切换用户并运行&＃xff1a;

su esuser
./bin/elasticsearch


再次启动显示已杀死&＃xff1a;

需要调整JVM的内存大小&＃xff1a;

vi bin/elasticsearchES_JAVA_OPTS&＃61;"-Xms512m -Xmx512m"


再次启动&＃xff1a;启动成功

如果显示如下类似信息&＃xff1a;

[INFO ][o.e.c.r.a.DiskThresholdMonitor] [ZAds5FP] low disk watermark [85%] exceeded on [ZAds5FPeTY-ZUKjXd7HJKA]
[ZAds5FP][/opt/elasticsearch-6.2.4/data/nodes/0] free: 1.2gb[14.2%], r
eplicas will not be assigned to this node


需要清理磁盘空间。

后台运行&＃xff1a;

./bin/elasticsearch -d


测试连接&＃xff1a;

curl 127.0.0.1:9200


会看到以下JSON数据&＃xff1a;

[root&＃64;localhost ~]# curl 127.0.0.1:9200{"name" : "rBrMTNx","cluster_name" : "elasticsearch","cluster_uuid" : "-noR5DxFRsyvAFvAzxl07g","version" : {"number" : "5.1.1","build_hash" : "5395e21","build_date" : "2016-12-06T12:36:15.409Z","build_snapshot" : false,"lucene_version" : "6.3.0"},"tagline" : "You Know, for Search"}


实现远程访问&＃xff1a;
需要对config/elasticsearch.yml进行 配置&＃xff1a;

network.host: 192.168.25.131


再次启动报错&＃xff1a;

处理第一个错误&＃xff1a;

vim /etc/security/limits.conf //文件最后加入esuser soft nofile 65536esuser hard nofile 65536esuser soft nproc 4096esuser hard nproc 4096


处理第二个错误&＃xff1a;

进入limits.d目录下修改配置文件。

vim /etc/security/limits.d/20-nproc.conf


修改为 esuser soft nproc 4096

处理第三个错误&＃xff1a;

vim /etc/sysctl.confvm.max_map_count&＃61;655360


执行以下命令生效&＃xff1a;

sysctl -p


关闭防火墙&＃xff1a;

systemctl stop firewalld.service


再次启动成功&＃xff01;

9、安装Head插件

Head是elasticsearch的集群管理工具&＃xff0c;可以用于数据的浏览和查询

(1)elasticsearch-head是一款开源软件&＃xff0c;被托管在github上面&＃xff0c;所以如果我们要使用它&＃xff0c;必须先安装git&＃xff0c;通过git获取elasticsearch-head

(2)运行elasticsearch-head会用到grunt&＃xff0c;而grunt需要npm包管理器&＃xff0c;所以nodejs是必须要安装的

(3)elasticsearch5.0之后&＃xff0c;elasticsearch-head不做为插件放在其plugins目录下了。
使用git拷贝elasticsearch-head到本地

cd /usr/local/
git clone git://github.com/mobz/elasticsearch-head.git


(4)安装elasticsearch-head依赖包

[root&＃64;localhost local]# npm install -g grunt-cli
[root&＃64;localhost _site]# cd /usr/local/elasticsearch-head/
[root&＃64;localhost elasticsearch-head]# cnpm install


(5)修改Gruntfile.js

[root&＃64;localhost _site]# cd /usr/local/elasticsearch-head/
[root&＃64;localhost elasticsearch-head]# vi Gruntfile.js


在connect–>server–>options下面添加&＃xff1a;hostname:’*’&＃xff0c;允许所有IP可以访问

(6)修改elasticsearch-head默认连接地址

[root&＃64;localhost elasticsearch-head]# cd /usr/local/elasticsearch-head/_site/
[root&＃64;localhost _site]# vi app.js


将this.base_uri &＃61; this.config.base_uri || this.prefs.get(“app-base_uri”) || “http://localhost:9200”;中的localhost修改成你es的服务器地址

(7)配置elasticsearch允许跨域访问

打开elasticsearch的配置文件elasticsearch.yml&＃xff0c;在文件末尾追加下面两行代码即可&＃xff1a;

http.cors.enabled: truehttp.cors.allow-origin: "*"


(8)打开9100端口

[root&＃64;localhost elasticsearch-head]# firewall-cmd --zone&＃61;public --add-port&＃61;9100/tcp --permanent


重启防火墙

[root&＃64;localhost elasticsearch-head]# firewall-cmd --reload


(9)启动elasticsearch

(10)启动elasticsearch-head

[root&＃64;localhost _site]# cd /usr/local/elasticsearch-head/
[root&＃64;localhost elasticsearch-head]# node_modules/grunt/bin/grunt server


(11)访问elasticsearch-head

关闭防火墙&＃xff1a;systemctl stop firewalld.service


浏览器输入网址&＃xff1a;http://192.168.25.131:9100/

10、安装Kibana

Kibana是一个针对Elasticsearch的开源分析及可视化平台&＃xff0c;使用Kibana可以查询、查看并与存储在ES索引的数据进行交互操作&＃xff0c;使用Kibana能执行高级的数据分析&＃xff0c;并能以图表、表格和地图的形式查看数据

(1)下载Kibana
https://www.elastic.co/downloads/kibana

(2)把下载好的压缩包拷贝到/soft目录下

(3)解压缩&＃xff0c;并把解压后的目录移动到/user/local/kibana

(4)编辑kibana配置文件

[root&＃64;localhost /]# vi /usr/local/kibana/config/kibana.yml


将server.host,elasticsearch.url修改成所在服务器的ip地址

(5)开启5601端口

Kibana的默认端口是5601

开启防火墙:systemctl start firewalld.service

开启5601端口:firewall-cmd --permanent --zone&＃61;public --add-port&＃61;5601/tcp

重启防火墙&＃xff1a;firewall-cmd –reload

(6)启动Kibana

[root&＃64;localhost /]# /usr/local/kibana/bin/kibana

浏览器访问&＃xff1a;http://192.168.25.131:5601

11、安装中文分词器

(1)下载中文分词器

https://github.com/medcl/elasticsearch-analysis-ik


下载elasticsearch-analysis-ik-master.zip

(2)解压elasticsearch-analysis-ik-master.zip

unzip elasticsearch-analysis-ik-master.zip


(3)进入elasticsearch-analysis-ik-master&＃xff0c;编译源码

mvn clean install -Dmaven.test.skip&＃61;true


(4)在es的plugins文件夹下创建目录ik

(5)将编译后生成的elasticsearch-analysis-ik-版本.zip移动到ik下&＃xff0c;并解压

(6)解压后的内容移动到ik目录下