Windows下ELK5.4.3环境搭建

Windows下ELK-5.4.3环境搭建

一、概述

ELK官网 https://www.elastic.co
ELK由Elasticsearch、Logstash和Kibana三部分组件组成；
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用
kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。


常见平台架构

ELK = Elasticsearch + Logstash + Kibana
EFK = Elasticsearch + Flume + Kibana
简单架构：
ELK+Redis
或
(Logstash/Flume)->(Kafka/Redis)->ES->Web
可更简单些：
Client(Filebeat) --> LogServer(Logstash-->Elasticsearch-->Kibana )
（可以不用Logstash,Filebeat直接输出到ES）
复杂架构：
数据采集层[离线/实时数据,MySQL/ES/Logstash/Flume]
->数据传输层[Kafka/Redis]
->数据缓存层[Storm->Kafka]
->计算存储层[离线计算(Kylin/Spark SQL/Impala/MR)、实时计算(Storm/Spark Streaming/Flink/Druid)、存储(ES/MySQL/Hbase/HDFS/Kudu)]
->应用层[Web/REST API]


二、下载安装ELK

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.3-windows-x86.zip --no-check-certificate
注意需要jdk8环境


三、修改配置

3.1.编辑ES配置文件：

// E:/elk/elasticsearch-5.4.3/config/elasticsearch.yml
network.host:192.168.1.106
http.port: 9200


3.2.新建Logstash日志分析配置文件：

// E:\elk\logstash-5.4.3\config\logstash.conf
input {
file {
type => "nginx_access"
path => "D:\nginx\logs\access.log"
}
}
output {
elasticsearch {
hosts => ["192.168.1.106:9200"]
index => "access-%{+YYYY.MM.dd}"
}
stdout {
codec => json_lines
}
}


3.3.编辑Kibana配置文件：

// E:/elk/kibana-5.4.3-windows-x86/config/kibana.yml
server.port: 5601
server.host: 192.168.1.106
elasticsearch.url: "http://192.168.1.106:9200"


四、启动

//启动ES
elasticsearch.bat
//启动Logstash
logstash.bat -f ../config/logstash.conf
//启动kibana
kibana.bat


五、验证

curl -XGET http://192.168.1.106:9200/
curl -XGET "http://192.168.1.106:9200/_search" -H 'Content-Type: application/json' -d'{"query": {"match_all": {}}}'
或浏览器分别访问
es: http://192.168.1.106:9200/
kibana: http://192.168.1.106:5601/


六、ES支持中文查询

elasticsearch-analysis-ik下载地址：
https://github.com/medcl/elasticsearch-analysis-ik/releases
下载elasticsearch-analysis-ik-5.4.3.zip解压到 elasticsearch-5.4.3\plugins\ik目录下
然后重启elasticsearch
验证
```shell
GET _search
{
"query": {
"match": {
"message": "中华"
}
}
}


七、elasticsearch-head安装

elasticsearch-head是一个用于管理Elasticsearch的web前端插件
https://github.com/mobz/elasticsearch-head

运行环境准备NodeJS,Grunt

npm install -g grunt-cli
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install


7.1 修改elasticsearch.yml，增加跨域的配置(需要重启es才能生效)
http.cors.enabled: true
http.cors.allow-origin: "*"

7.2 编辑elasticsearch-head/Gruntfile.js，修改服务器监听地址，connect节点增加hostname属性，将其值设置为*

connect: {
server: {
options: {
hostname:'*',
port: 9100,
base: '.',
keepalive: true
}
}
}


7.2 编辑elasticsearch-head/_site/app.js,
修改默认es地址http://localhost:9200/为http://192.168.1.106:9200/, 也可以不修改。

7.3 启动

npm run start


浏览器打开http://192.168.1.106:9100/

七、参考资料

Logstash 最佳实践
http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html
Elasticsearch 权威指南
http://www.learnes.net/
Kibana 中文指南
https://kibana.logstash.es/content/
Win 10 ELK（5.4.1） 环境搭建与基本使用与 Expected one of # 解决办法
http://blog.csdn.net/wangming520liwei/article/details/73213438
基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台
http://blog.csdn.net/ddcowboy/article/details/54617740
Elasticsearch之elasticsearch5.x 新特性
http://www.cnblogs.com/zlslch/p/6619089.html
Elasticsearch5.3 安装问题集锦
http://blog.csdn.net/u013365215/article/details/70159141
elasticsearch5.3支持中文内容查询
http://www.cnblogs.com/xiaofei1205/p/6709964.html
centos7.2部署最新ELK 5.3
http://www.cnblogs.com/xiaofei1205/p/6699475.html
elasticsearch5.3安装插件head
http://www.cnblogs.com/xiaofei1205/p/6704239.html
elasticsearch5.3.0安装以及与基于jupyter notebook 的spark交互
http://blog.csdn.net/Xmo_jiao/article/details/73251937
[大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<1>
http://www.cnblogs.com/NextNight/p/6826621.html
[大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<2>
http://www.cnblogs.com/NextNight/p/6829923.html
[大数据]-Elasticsearch5.3.1 IK分词，同义词/联想搜索设置
http://www.cnblogs.com/NextNight/p/6837407.html
怒写一篇基于Windows10的最新ElasticSearch5.3的搜索引擎的开发博客（一）
http://blog.csdn.net/u014460701/article/details/69425161
ElasticSearch 5.3——单台服务器多节点
http://blog.csdn.net/zwyjg/article/details/70739690

elasticsearch5.3.0+kibana5.3.0+logstash5.3.0搜索windows环境搭建
http://blog.csdn.net/xr568897472/article/details/71122807

ELK5.1搭建过程(ElasticSearch, Logstash, Kibana)
http://blog.csdn.net/hemin1003/article/details/73295303

ElasticSearch5.3.2+LogStash+Kibana+Redis日志管理平台搭建
http://blog.csdn.net/chenzenan/article/details/71126732

使用kibana+logstash+elasticsearch+redis搭建分布式日志收集、分析、查询系统。
http://blog.csdn.net/zhangxtn/article/details/53695736
聊聊Flume和Logstash的那些事儿
http://www.jianshu.com/p/349ed5ee6419
基于Spark的公安大数据实时运维技术实践
(使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析)
http://geek.csdn.net/news/detail/132138
Flume日志采集系统——初体验（Logstash对比版）
http://www.cnblogs.com/xing901022/p/5631445.html
实战ElasticStack
https://huoding.com/2016/12/11/566
CentOS7下Elastic Stack 5.0日志分析系统搭建
http://www.tuicool.com/articles/VbmMFnu
Elasticsearch5和head最新插件学习，JavaAPI demo
http://blog.csdn.net/lanqibaoer/article/details/73526549
richaaaard的ElasticSearch专题
http://www.cnblogs.com/richaaaard/category/783901.html
dm_vincent的ElasticSearch专栏
http://blog.csdn.net/dm_vincent/article/category/2718099
ELK笔记
http://www.cnblogs.com/MYSQLZOUQI/p/5849604.html