日志系统升级之路（安装Elasticsearch和Kibana）

公司内部现有一套中心日志系统，供各个系统模块使用，该日志系统架构如下：

 

 

1.1 存在的问题

但是随着日益增长的数据量，该系统存在如下几个问题：

1. 由于公司服务器在某机房托管，日志系统数据库所占空间巨大，拓容不便。

2. 日志搜索困难，且响应很慢。

 

1.2 优化方案

1.2.1 日志数据库分库

1.2.1 Solr

1.2.3 Elasticsearch

1.3 选型

经过研究和分析，最终选型Elasticsearch（以下简称ES），原因如下：

1. 分布式：横向扩展非常灵活。

2. 全文检索：基于lucene的强大的全文检索能力。

3. 近实时搜索和分析：数据进入ES，可达到近实时搜索，还可进行聚合分析。

4. 高可用：容错机制，自动发现新的或失败的节点，重组和重新平衡数据。

5. 模式***：ES的动态mapping机制可以自动检测数据的结构和类型，创建索引并使数据可搜索。

6. 简单易用，ES集成了.net客户端，免去操作http接口的烦琐工作。

7. 日志数据，都是静态数据。

 

同时，由我们自己使用Nest和Elasticsearch.Net两个客户端，维护索引，故而省去Logstash

---

二、Elasticsearch

2.1 部署

2.1.1 安装java运行环境

ES由java开发，所以需先安装java jre（我这里是在本地虚拟机，所以直接安装jdk）

yum  install  java-1.8.0-openjdk   java-1.8.0-openjdk-devel

配置环境变量，修改/etc/profile，追加如下内容：

 #set java environment  
 JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64
 PATH=$PATH:$JAVA_HOME/bin  
 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
 export JAVA_HOME  CLASSPATH  PATH

（注意具体的文件夹jre-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64中的小版本号）

使配置生效，并验证配置的路径是否正确。

source  /etc/profile  
echo $JAVA_HOME  
echo $PATH  
echo $CLASSPATH

 

 

 

2.1.2 安装ES

定位到指定目录 

cd /home/es

下载ES

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz

解压到根目录的opt下

tar -xvf elasticsearch-6.2.4.tar.gz -C /opt

至此，ES已经下载好了。

修改配置，/config/elasticsearch.yml

network.host: 0.0.0.0

表示允许所有ip访问（注意：如果不设置，则只有本机能访问）

cd /opt/es.6.2.4/bin

启动es（注意：ES不能以root用户身份运行）

./elasticsearch

 

 

如果出现这个报错，关闭虚拟机，修改虚拟机中cpu为2核，开机后重试出现错误，如图：

 

 

第一个问题的解决办法：

修改文件/etc/security/limits.conf，在最后追加

* hard nofile 65536
* soft nofile 65536

然后切换到root下，使用 sysctl -p 后，使用如下命令查看：

sysctl -p
ulimit -Hn

出现65536则表示成功（注意，有时无变化，请检查格式并注销当前用户，重新登录）

 

 

 

第二个问题的解决办法：

修改文件/etc/sysctl.conf ，在最后追加

vm.max_map_count=655360

使用 sysctl -p 后如下图则表示配置成功

 

 

切换回es用户，在 /opt/es.6.2.4/bin 目录下，使用  ./elasticsearch 重新启动

 

 

至此，es启动成功，默认端口为9200，使用http://192.168.17.130:9200/ 即可访问 

 

 

---

三、Kibana

3.1 安装Kibana

从www.elastic.co/cn/downloads/past-releases#kibana下载Kibana  6.2.4 后

解压到/opt/kbn.6.2.4

3.2 配置

在config/kibana.yml中配置 修改如下配置：

允许访问的ip和es地址

server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.17.130:9200"

3.3启动

进入到目录 /opt/kbn.6.2.4，使用如下命令启动：

./kibana

使用默认端口访问：http://192.168.17.130:5601  

 

 

 

 

至此，ES和Kibana部署完成。

（注意：上面示例是我在本机演示，所以运行方式都是前台运行）