ELK（FIlebeat+Redis+Logstash+Elasticse）之部署

Centos7部署ELK日志收集系统
一、ELK概述&＃xff1a;

ELK是一组开源软件的简称&＃xff0c;其包括Elasticsearch、Logstash 和 Kibana。ELK最近几年发展迅速&＃xff0c;已经成为目前最流行的集中式日志解决方案。

Elasticsearch: 能对大容量的数据进行接近实时的存储&＃xff0c;搜索和分析操作。 本项目中主要通过Elasticsearch存储所有获取的日志。

Logstash&＃xff1a; 数据收集引擎&＃xff0c;它支持动态的的从各种数据源获取数据&＃xff0c;并对数据进行过滤&＃xff0c;分析&＃xff0c;丰富&＃xff0c;统一格式等操作&＃xff0c;然后存储到用户指定的位置。

Kibana&＃xff1a; 数据分析与可视化平台&＃xff0c;对Elasticsearch存储的数据进行可视化分析&＃xff0c;通过表格的形式展现出来。

Filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据&＃xff0c;并发送给logstash进行解析&＃xff0c;或是直接发给Elasticsearch存储。

Redis&＃xff1a;NoSQL数据库(key-value)&＃xff0c;也数据轻型消息队列&＃xff0c;不仅可以对高并发日志进行削峰还可以对整个架构进行解耦

传统ELK的经典框架:

单一的架构&＃xff0c;logstash作为日志搜集器&＃xff0c;从数据源采集数据&＃xff0c;并对数据进行过滤&＃xff0c;格式化处理&＃xff0c;然后交由Elasticsearch存储&＃xff0c;kibana对日志进行可视化处理。

新型ELK框架:

Filebeats是一种轻量级的日志搜集器&＃xff0c;其不占用系统资源&＃xff0c;自出现之后&＃xff0c;迅速更新了原有的elk架构。Filebeats将收集到的数据发送给Logstash解析过滤&＃xff0c;在Filebeats与Logstash传输数据的过程中&＃xff0c;为了安全性&＃xff0c;可以通过ssl认证来加强安全性。之后将其发送到Elasticsearch存储&＃xff0c;并由kibana可视化分析。

二、新型ELK搭建详细过程
实验环境&＃xff1a;
主机&＃xff1a;
10.254.254.202 部署程序&＃xff1a;filebeat
10.254.254.201 部署程序&＃xff1a;redis&＃xff0c;logstash&＃xff0c;elasticsearch&＃xff0c;kibana

下面是搭建过程中所需程序安装包&＃xff1a;
https://pan.baidu.com/s/1w02WtUAqh9yX4TChyMLa5Q 密码&＃xff1a;g0p9

1.客户端部署filebeat&＃xff1a;

1&＃xff09;下载和安装key文件

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch


1&＃xff09;创建yum源文件

[root&＃64;localhost ~]# vim /etc/yum.repos.d/elk-elasticsearch.repo
[elastic-5.x]
name&＃61;Elastic repository for 5.x packages
baseurl&＃61;https://artifacts.elastic.co/packages/5.x/yum
gpgcheck&＃61;1
gpgkey&＃61;https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled&＃61;1
autorefresh&＃61;1
type&＃61;rpm-md


3&＃xff09;安装启动

yum -y install filebeat
systemctl start filebeat
systemctl status filebeat


4&＃xff09;修改配置文件使filebeat获取的日志进入redis&＃xff1a;
****注&＃xff1a;此处演示获取spring cloud框架中eureka日志&＃xff0c;其他程序日志都可相同方法获取

vm /etc/filebeat/filebeat.yml
#修改的内容有一家几个字段
enabled&＃xff1a;true
paths&＃xff1a;程序日志路径
output.redis&＃xff1a;日志输出地方
hosts&＃xff1a;redis所在服务器IP
port&＃xff1a;redis端口
key&＃xff1a;redis中的key(可以用来指定redis获取到的数据的名称&＃xff09;



2.源码安装redis&＃xff1a;

1&＃xff09;解压redis程序包&＃xff1a;

tar zxf redis-3.2.9.tar.gz –C /usr/local
2&＃xff09;编译redis&＃xff1a;

cd /usr/local/redis-3.2.9
make && make install
ln –s /usr/local/redis-3.2.9 /usr/local/redis
注&＃xff1a;redis安装时有的缺少语言环境会出错&＃xff0c;有的会出现奇奇怪怪的问题&＃xff0c;只要复制Error到往上搜索下就能轻易解决&＃xff0c;在此不多做解释
3&＃xff09;修改redis配置文件&＃xff1a;

vim /usr/local/redis/redis.conf


修改内容如下&＃xff1a;
daemonize yes #开启后台运行
timeout 120 #超时时间
bind 0.0.0.0 #任何地址IP都可以登录redis
protected-mode no #关闭redis保护机制否则在没有密码校验情况下redis远程登录失败

注&＃xff1a;此处是做演示&＃xff0c;如果是线上部署elk建议开启持久化机制&＃xff0c;保证数据不丢失

4&＃xff09;启动filebeat看看redis是否能接收到数据&＃xff1a;
启动filebeat&＃xff1a;

systemctl start filebeat

5&＃xff09;进入redis查看是否有数据&＃xff1a;

#执行命令&＃xff1a;
keys * &＃xff1a; #查看所有key&＃xff0c;此操作为慢查询&＃xff0c;若redis跑了大量线上业务请不要进行此操做
lrange eureka-log 0 -1&＃xff1a;#查询key所有数据&＃xff0c;若filebeat启动时间过长请勿进行此操作

3.安装jdk

1&＃xff09;解压jdk安装包并创建软连接&＃xff1a;

tar zxf /usr/local/src/jdk-8u131-linux-x64.tar.gz –C /usr/local/
ln -s /usr/local/jdk1.8.0_91/ /usr/local/jdk

2&＃xff09;配置环境变量&＃xff1a;

vim /etc/profile
#修改内容如下&＃xff1a;
JAVA_HOME&＃61;/usr/local/jdk
export JRE_HOME&＃61;/usr/local/jdk/jre
export CLASSPATH&＃61;.:JAVAHOME/lib:JAVA_HOME/lib:JAVAH​OME/lib:JRE_HOME/lib:$CLASSPATHexportPATH\&＃61;$PATH:JAVAHOME/bin:JAVA_HOME/bin:JAVAH​OME/bin:JRE_HOME/bin
重新载入环境变量&＃xff1a;

source /etc/profile

3&＃xff09;查看jdk是否安装成功&＃xff1a;

java -version

4.安装Elasticsearch&＃xff1a;

1&＃xff09;解压安装包并改名&＃xff1a;

unzip elasticsearch-5.6.3.zip -d /usr/local/
mv /usr/local/ elasticsearch-5.6.3 /usr/local/elasticsearh
2&＃xff09;修改ES配置文件&＃xff1a;

vim /usr/local/elasticsearch/config/elasticsearch.yml

#这里指定的是集群名称&＃xff0c;需要修改为对应的&＃xff0c;开启了自发现功能后&＃xff0c;ES会按照此集群名称进行集群发现
cluster.name: my-application
node.name: node-1

#目录需要手动创建
path.data: /opt/elk/data
path.logs: /opt/elk/logs

#ES监听地址任意IP都可访问
network.host: 0.0.0.0
http.port: 9200

#若是集群&＃xff0c;可在里面引号中添加&＃xff0c;逗号隔开
discovery.zen.ping.unicast.hosts: [“192.168.3.205”]

··nable cors&＃xff0c;保证_site类的插件可以访问es
http.cors.enabled: true #手动添加
http.cors.allow-origin: “*” #手动添加

Centos6不支持SecComp&＃xff0c;而ES5.2.0默认bootstrap.system_call_filter为true进行检测&＃xff0c;所以导致检测失败&＃xff0c;失败后直接导致ES不能启动
bootstrap.memory_lock: false #手动添加
bootstrap.system_call_filter: false #手动添加

注&＃xff1a;ES启动的时候回占用特别大的资源所以需要修改下系统参数,若不修改资源启动会异常退出

3)修改系统参数&＃xff1a;
vim /etc/sysctl.conf
#添加参数
vm.max_map_count&＃61;655360
重新载入配置&＃xff1a;

sysctl –p
4)修改资源参数&＃xff1a;
vim /etc/security/limits.conf
#修改

• soft nofile 65536
• hard nofile 131072
• soft nproc 65536
• hard nproc 131072

5)设置用户资源参数&＃xff1a;
vim /etc/security/limits.d/20-nproc.conf
#添加
elk soft nproc 65536

6)创建用户并赋权&＃xff1a;

useradd elk
groupadd elk
useradd elk -g elk
创建数据和日志目录并修改目录权限&＃xff1a;
mkdir –pv /opt/elk/{data,logs}
chown –R elk:elk /opt/elk
chown –R elk:elk /usr/local/elasticsearch
切换用户并后台启动ES&＃xff1a;(elk用户修改了资源参数&＃xff0c;如不切位elk用户启动会暴毙)
su elk
nohup /usr/local/elasticsearch/bin/elasticsearch >> /dev/null 2>&1 &

7&＃xff09;查看ES状况&＃xff1a;
方法一、
curl ‘http://[ES IP]:9200/_search?pretty’
方法二、
#网页访问&＃xff1a;
http://[ES IP]:9200/_search?pretty

5.安装logstash&＃xff1a;
1&＃xff09;解压并创建软连接&＃xff1a;

tar /usr/local/src/logstash-5.3.1.tar.gz –C /usr/local/
ln –s /usr/local/logstash-5.3.1 /usr/local/logstash

2)测试
在此创建主配文件进行测试&＃xff1a;

vim /usr/local/logstash/config/logstash-simple.conf
#内容如下&＃xff1a;
input { stdin { } }
output {
stdout { codec&＃61;> rubydebug }
}
使用logstash参数-f读取配置文件进行测试&＃xff1a;

/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash-simple.conf

3&＃xff09;正式创建配置文件获取redis日志的数据&＃xff1a;
配置文件如下&＃xff1a;
vim /usr/local/logstash/config/redis-spring.conf

input {
redis {
port &＃61;> “6379”
host &＃61;> “10.254.254.201”
data_type &＃61;> “list”
type &＃61;> “log”
key &＃61;> “filebeat”
}
}
output {
elasticsearch {
hosts &＃61;> “10.254.254.201:9200”
index &＃61;> “logstash1-%{&＃43;YYYY.MM.dd}”
}
}

通过配置文件启动服务查看效果&＃xff1a;

nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/config/redis-spring.conf &

此时我们再去查看reids中key&＃xff1a;&＃xff08;此时已经没有数据了&＃xff0c;数据已经被logstash取完&＃xff09;

4&＃xff09;使用curl 查看ES是否接受到数据
curl http://10.254.254.201:9200/_search?pretty

此时说明我们logstash从redis中取数据&＃xff0c;在把数据推到ES中是ok的&＃xff01;

6.安装ES插件&＃xff1a;&＃xff08;elasticsearch-head&＃xff09;

注&＃xff1a;head安装需要从国外网站拉去东西&＃xff0c;可能网速过慢导致安装失败&＃xff08;可以多试几次&＃xff09;&＃xff0c;下面有几种方法安装&＃xff1a;

方法一、
导入node-v8.2.1.tar.gz phantomjs-2.1.1-linux-x86_64.tar.bz2 安装包
安装node&＃xff1a;
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure && make && make install

安装phantomjs&＃xff1a;
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin/
cp phantomjs /usr/local/bin/

导入es-head程序包并解压&＃xff1a;
unzip master.zip –d /usr/local/
cd elasticsearch-head/
npm install
npm run start &

查看端口状态&＃xff1a;&＃xff08;端口默认9100&＃xff09;
netstat –anpt | grep 9100

方法二、
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start
netstat –anpt | grep 9100

方法三、
拉镜像&＃xff1a;
docker push mobz/elasticsearch-head:5
启动镜像&＃xff1a;
docker run -p 9100:9100 mobz/elasticsearch-head:5
web访问测试&＃xff1a;
http://IP:9100
Elasticsearch-head安装成功Web访问结果如下&＃xff1a;

需要手动连接到es如图。

查看刚刚从logstash推到ES中的数据&＃xff1a;

7.安装kibana
1&＃xff09;解压并安装kibana&＃xff1a;

tar -zxvf /usr/local/kibana-5.3.1-linux-x86_64.tar.gz -C /usr/local/

2&＃xff09;修改kibana配置文件&＃xff1a;

vim /usr/local/kibana-5.3.1-linux-x86_64/config/kibana.yml
修改内容如下&＃xff1a;
server.port: 5601 #开启默认端口5601
server.host: “192.168.3.205” #kibana站点IP
elasticsearch.url: http://192.168.3.205:9200 #只想ES服务所在IP Port
kibana.index: “.kibana”

3&＃xff09;后台启动kibana&＃xff1a;

nohup /usr/local/kibana-5.3.1-linux-x86_64/bin/kibana >> /dev/null 2>&1 &
查看端口监听&＃xff1a;

netstat –anot | grep 5601
结果如&＃xff1a;&＃xff08;此结果表示kibana启动成功&＃xff09;

4&＃xff09;使用Web访问kibana&＃xff1a;

http://[Kibana IP]:5601
初次访问结果如&＃xff1a;&＃xff08;刚访问的时候没有创建索引所以没有看不到数据&＃xff09;

根据logstash配置文件中index设置索引&＃xff1a;
首先查看logstash中的index&＃xff1a;

Kibana中创建index&＃xff1a;
下面按照1,2,3,4顺序进行设置&＃xff1a;

此时我们在返回Discover在里面我们就可以看到数据了&＃xff1a;

&＃xff08;有的时候es服务权限设置正常&＃xff0c;java版本也正常&＃xff0c;每次启动都报错&＃xff1a;Permission denied。此时需要查看es安装所有目录递归权限&＃xff0c;最好是把服务放在/usr/local下&＃xff09;

至此我们的ELK就安装OK了&＃xff01;&＃xff01;&＃xff01;&＃xff01;&＃xff01;&＃xff01;&＃xff01;&＃xff01;&＃xff01;&＃xff01;&＃xff01;