由于elasticsearch的search guard 不支持 elasticsearch的jdbc&＃xff0c;所以如果安装了search guard认证插件之后&＃xff0c;基本上jdbc就废了&＃xff0c;所以我们需要用到logstash来代替jdbc生成数据索引。
简介
Logstash是一个接收&＃xff0c;处理&＃xff0c;转发日志的工具。支持系统日志&＃xff0c;webserver日志&＃xff0c;错误日志&＃xff0c;应用日志&＃xff0c;总之包括所有可以抛出来的日志类型。
在一个典型的使用场景下(ELK)&＃xff1a;用Elasticsearch作为后台数据的存储&＃xff0c;kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色&＃xff0c;它为数据存储&＃xff0c;报表查询和日志解析创建了一个功能强大的管道链。Logstash提供了多种多样的 input,filters,codecs和output组件&＃xff0c;让使用者轻松实现强大的功能。
依赖条件&＃xff1a;JAVA
Logstash运行仅仅依赖java运行环境(jre)。各位可以在命令行下运行java -version命令 显示类似如
1.下载安装Logstash
下载
进入elasticsearch官网的下载页面&＃xff0c;寻找对应你elasticsearch版本的Logstash,例如对应我elasticsearch的Logstash是2.3.4
进入后选择RPM > 右键点击 -- 复制链接地址
wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-all-plugins-2.3.4-1.noarch.rpm
安装
rpm -ivh logstash-all-plugins-2.3.4-1.noarch.rpm
2.下载mysql java 驱动
到mysql的官网下载
下载后在window解压得到mysql-connector-java-5.1.40-bin.jar mysql_java驱动包,将这个包放到liunx系统的/data/文件夹即可
以下内容为博主自己项目的配置内容&＃xff0c;吃瓜群众不需理会&＃xff01;
1.修改配置文件
在/data/ 文件夹生成项目配置文件&＃xff0c;
cd /data/vim logstash_view_all.conf
修改以下内容
注&＃xff1a;密码不需要填写加密后的结果&＃xff0c;直接填123456
2.设置项目中elasticsearch配置文件
cd /data/www/项目路径/ElasticSearch/cp index_all-dist.sh index_all.sh
修改数据库名&＃xff0c;ip&＃xff0c;帐号密码&＃xff0c;集群等信息&＃xff0c;项目的Elasticsearch的文件夹路径等信息
vim index_all.sh
3.设置配置reindex.php文件
cp reindex-dist.php reindex.phpvim reindex.php
修改ip地址
4.开启elasticsearch并且配置开机自启动
systemctl start elasticsearchsystemctl enable elasticsearch
5.修改项目配置文件
在命令行查看elasticsearch帐号密码是否配置成功
curl -XGET "http://shifu:123456&＃64;127.0.0.1:9200"
6.修改项目中配置文件
vim Application/Common/Conf/config.php
/*elasticsearch相关配置*/&＃39;ELASTIC_SEARCH&＃39; &＃61;> array(
&＃39;hosts&＃39; &＃61;> array(
&＃39;http://shifu:123456&＃64;192.168.117.128:9200&＃39;//安全插件配置的帐号密码为shifu&＃xff0c;123456
),
&＃39;index&＃39; &＃61;> &＃39;test&＃39;)
7.运行Logstash,生成索引&＃xff1b;生成索引后&＃xff0c;Logstash会自动关闭
/opt/logstash/bin/logstash -f /data/logstash_view_all.conf
查看Logstash的运行状态
ps -ef |grep logstash
查看索引生成效果
在浏览器中输入
http://dev.test.net:9200/test/_search
成功生成显示
京公网安备 11010802041100号