我要搭建的ELK Stack图示&＃xff1a;
ELK服务器建议配置&＃xff1a;
- 内存不少于4G
- CPU&＃xff1a;2
- Ubuntu 16.04
#1 安装Java JDK
Elasticsearch和Logstash都是使用java写的&＃xff0c;所以我们需要安装Java&＃xff0c;Elasticsearch建议安装Oracle Java 8&＃xff08;OpenJdk应该也行&＃xff09;&＃xff1a;
#2 安装Elasticsearch
导入Elasticsearch的GPG公钥&＃xff1a;
| 1 | $ wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - |
添加Elasticsearch仓库源&＃xff1a;
| 1 | $ echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list |
安装elasticsearch&＃xff1a;
| 1 2 | $ sudo apt-get update $ sudo apt-get install elasticsearch |
安装完成之后&＃xff0c;配置Elasticsearch&＃xff1a;
| 1 | $ sudo vim /etc/elasticsearch/elasticsearch.yml |
为了系统安全&＃xff0c;我们需要限制外部网络访问Elasticsearch&＃xff08;9200端口&＃xff09;。取消下面一行注释&＃xff0c;并把值替换为localhost&＃xff1a;
| 1 | network.host: localhost |
启动Elasticsearch服务&＃xff1a;
| 1 | $ sudo systemctl start elasticsearch |
设置Elasticsearch开机自启&＃xff1a;
| 1 | $ sudo systemctl enable elasticsearch |
#3 安装Kibana
添加Kibana仓库源&＃xff1a;
| 1 | $ echo "deb http://packages.elastic.co/kibana/4.5/debian stable main" | sudo tee -a /etc/apt/sources.list |
安装kibana&＃xff1a;
| 1 2 | $ sudo apt-get update $ sudo apt-get install kibana |
配置Kibana&＃xff1a;
| 1 | $ sudo vim /opt/kibana/config/kibana.yml |
去掉server.host一行的注释&＃xff0c;并把值改为localhost&＃xff1a;
| 1 | server.host: "localhost" |
上面配置了只能从本地访问Kibana&＃xff1b;因为我们要使用Nginx做反向代理。
启动Kibana服务&＃xff1a;
| 1 2 | $ sudo systemctl enable kibana $ sudo systemctl start kibana |
#4 安装Nginx
安装&＃xff1a;
| 1 | $ sudo apt-get install nginx |
使用openssl创建一个管理员&＃xff08;admin&＃xff09;&＃xff0c;这是用来登录Kibana web接口的&＃xff1a;
| 1 2 | $ sudo -v $ echo "admin:&＃96;openssl passwd -apr1&＃96;" | sudo tee -a /etc/nginx/htpasswd.users |
按照提示设置admin用户的密码。
编辑Nginx配置文件&＃xff1a;
| 1 | $ sudo vim /etc/nginx/sites-available/default |
把文件中的内容替换为&＃xff1a;
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | server { listen 80; server_name your_domain_or_IP; auth_basic "Restricted Access"; auth_basic_user_file /etc/nginx/htpasswd.users; location / { proxy_pass http://localhost:5601; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection &＃39;upgrade&＃39;; proxy_set_header Host $host; proxy_cache_bypass $http_upgrade; } } |
把your_domain_or_IP替换为你服务器的IP或域名&＃xff1b;
检查Nginx配置语法&＃xff1a;
重启Nginx&＃xff1a;
| 1 | $ sudo systemctl restart nginx |
如果开启了防火墙&＃xff0c;配置允许nginx通行&＃xff1a;
| 1 | $ sudo ufw allow &＃39;Nginx Full&＃39; |
测试&＃xff1b;使用浏览器访问 http://your_domain_or_IP&＃xff0c;输入前面设置的密码&＃xff1a;
如果配置没有问题&＃xff0c;你应该能看到如下页面&＃xff1a;
#5 安装Logstash
添加Logstash软件源&＃xff1a;
| 1 | $ echo "deb http://packages.elastic.co/logstash/2.3/debian stable main" | sudo tee -a /etc/apt/sources.list |
安装Logstash&＃xff1a;
| 1 2 | $ sudo apt-get update $ sudo apt-get install logstash |
由于客户端服务器需要使用Filebeat来向ELK服务器发送日志&＃xff0c;为了增强日志传输的安全&＃xff0c;我们可以使用SSL加密。首先创建存放SSL证书的目录&＃xff1a;
| 1 2 | $ sudo mkdir -p /etc/pki/tls/certs $ sudo mkdir /etc/pki/tls/private |
创建SSL证书的两种选择&＃xff1a;
- 直接使用IP地址
- 如果你有架设DNS服务器解析IP&＃xff0c;可以使用域名
选择1&＃xff09;使用IP地址&＃xff1a;
在生成SSL证书之前&＃xff0c;先配置openssl&＃xff1a;
| 1 | $ sudo vim /etc/ssl/openssl.cnf |
在v3_ca一段中&＃xff0c;添加一行&＃xff1a;
| 1 | subjectAltName &＃61; IP: ELK_server_IP |
把ELK_server_IP替换为ELK服务器的ip地址。
生成SSL证书&＃xff1a;
| 1 2 | $ cd /etc/pki/tls $ sudo openssl req -config /etc/ssl/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt |
要把logstash-forwarder.crt复制到要给ELK发送日志的服务器上。
选择2&＃xff09;使用域名&＃xff1a;
确保DNS的A记录指向ELK服务器IP。
创建SSL证书&＃xff1a;
| 1 2 | $ cd /etc/pki/tls $ sudo openssl req -subj &＃39;/CN&＃61;ELK_server_domain/&＃39; -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt |
把ELK_server_domain替换为你的域名。
配置Logstash&＃xff1a;
创建配置文件&＃xff1a;
| 1 | $ sudo vim /etc/logstash/conf.d/02-beats-input.conf |
写入内容&＃xff1a;
| 1 2 3 4 5 6 7 8 | input { beats { port &＃61;> 5044 ssl &＃61;> true ssl_certificate &＃61;> "/etc/pki/tls/certs/logstash-forwarder.crt" ssl_key &＃61;> "/etc/pki/tls/private/logstash-forwarder.key" } } |
监听接收日志的5044端口。配置防火墙打开5044端口&＃xff1a;
创建配置文件&＃xff1a;
| 1 | $ sudo vim /etc/logstash/conf.d/10-syslog-filter.conf |
写入如下内容&＃xff1a;
| 1 2 3 4 5 6 7 8 9 10 11 12 13 | filter { if [type] &＃61;&＃61; "syslog" { grok { match &＃61;> { "message" &＃61;> "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" } add_field &＃61;> [ "received_at", "%{&＃64;timestamp}" ] add_field &＃61;> [ "received_from", "%{host}" ] } syslog_pri { } date { match &＃61;> [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] } } } |
设置接收的日志格式及类型。
创建配置文件&＃xff1a;
| 1 | $ sudo vim /etc/logstash/conf.d/30-elasticsearch-output.conf |
写入如下内容&＃xff1a;
| 1 2 3 4 5 6 7 8 9 | output { elasticsearch { hosts &＃61;> ["localhost:9200"] sniffing &＃61;> true manage_template &＃61;> false index &＃61;> "%{[&＃64;metadata][beat]}-%{&＃43;YYYY.MM.dd}" document_type &＃61;> "%{[&＃64;metadata][type]}" } } |
Elasticsearch使用的端口9200。
Logstash文档&＃xff1a;https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html。
现在ELK服务器已经做好了接收日志的准备。
在客户端服务上安装配置Filebeat
把在ELK服务器上生成logstash-forwarder.crt证书传到到客户端服务上&＃xff0c;可以使用scp&＃xff1b;然后把证书复制的certs目录&＃xff1a;
| 1 2 | $ sudo mkdir -p /etc/pki/tls/certs $ sudo cp logstash-forwarder.crt /etc/pki/tls/certs/ |
安装Filebeat&＃xff1b;添加源和key&＃xff1a;
| 1 2 | $ echo "deb https://packages.elastic.co/beats/apt stable main" | sudo tee -a /etc/apt/sources.list.d/beats.list $ wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - |
| 1 2 | $ sudo apt-get update $ sudo apt-get install filebeat |
配置Filebeat&＃xff1a;
| 1 | $ sudo vim /etc/filebeat/filebeat.yml |
在prospectors一段中&＃xff0c;配置要发送的日志&＃xff1a;
找到document_type&＃xff0c;并把值改为syslog&＃xff1a;
找到output一段&＃xff0c;删除或注释掉整个Elasticsearch output一段&＃xff1b;
去掉logstash注释&＃xff0c;hosts的值改为ELK_server_IP:5044&＃xff0c;并添加一行&＃xff1a;
找到tls一段&＃xff1a;
启动Filebeat&＃xff1a;
| 1 2 | $ sudo systemctl restart filebeat $ sudo systemctl enable filebeat |
现在filebeat就可以向ELK服务器发送syslog和auth.log日志了。
转自&＃xff1a;http://blog.topspeedsnail.com/archives/4825
京公网安备 11010802041100号