环境搭建ELK单节点环境搭建(02)

写在前面

常说:"工欲善其事必先利其器",这话想想也是一点毛病也没有,在开始学习任何技术之前,我们总得有一个实际可供操作的实验环境.有人说,"看十遍不如用一遍",我想大概就是这个道理.废话不多说,直接开始.

实验环境

CentOs7.2
JDK1.8及其以上
node-v8.10.0-linux-x64(安装Head插件,版本>V8)
elasticsearch-6.1.3
kibana-6.1.3-linux-x86_64
logstash-6.1.3
ps:注意在选择ELK版本的时候,每个组件的版本号要一致
这个直接官网下载即可,下载还是很快地

新建用户

在正式开始之前,我先说明,因为elasticsearch是不能以root用户启动的.所以,为了避免这种麻烦的事情发生.我们事先创建好用户.

[root&＃64;csylh ~]# groupadd liuge
[root&＃64;csylh ~]# useradd liuge -g liuge
[root&＃64;csylh ~]# passwd liuge
Changing password for user liuge.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.

为liuge用户赋予ROOT权限,方便后面命令的执行
[root&＃64;csylh ~]# vim /etc/sudoers

## Allow root to run any commands anywhere
root ALL&＃61;(ALL) ALL
liuge ALL&＃61;(ALL) ALL

JDK和Node环境的配置

要启动ES集群,你必须保证你的机器上必须先要安装上jdk的运行环境先.我这里采用比较简单的安装方式.官网下载解压后,添加到当前用户的环境变量就可以啦
1.下载解压到指定目录

[liuge&＃64;csylh jdk1.8.0_161]$ pwd
/home/liuge/apps/jdk1.8.0_161
#我的jdk解压地址

2.添加到环境变量

[liuge&＃64;csylh jdk1.8.0_161]$ vim ~/.bash_profile
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then. ~/.bashrc
fi
# User specific environment and startup programs
PATH&＃61;$PATH:$HOME/.local/bin:$HOME/bin
export PATH
#jdk环境
export JAVA_HOME&＃61;/home/liuge/apps/jdk1.8.0_161
export PATH&＃61;$JAVA_HOME/bin:$PATH#:wq保存退出

3.再source一下环境变量,查看

[liuge&＃64;csylh jdk1.8.0_161]$ source ~/.bash_profile
[liuge&＃64;csylh jdk1.8.0_161]$ java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
[liuge&＃64;csylh jdk1.8.0_161]$

Node环境的安装
可能很多小伙伴不熟悉没有接触过node,我其实也不熟悉,我们这里也只是需要使用node提供的npm这个包管理工具来安装Head插件而已.简单命令
1.下载啊(直接去官网下载,版本大于v8即可)
2.解压啊

[liuge&＃64;csylh softs]$ ll
total 270304
-rw-r--r-- 1 root root 28454781 Jan 30 23:07 elasticsearch-6.1.3.tar.gz
-rw-r--r-- 1 root root 64640541 Jan 30 23:07 kibana-6.1.3-linux-x86_64.tar.gz
-rw-r--r-- 1 root root 118581153 Jan 30 23:07 logstash-6.1.3.tar.gz
-rw-r--r-- 1 root root 921421 Mar 31 12:50 master.zip
-rw-r--r-- 1 root root 63887360 Mar 31 12:50 node-v8.10.0-linux-x64.tar
[liuge&＃64;csylh softs]$ tar -xf node-v8.10.0-linux-x64.tar -C ../apps/
[liuge&＃64;csylh softs]$ ll ../apps/
total 8
drwxr-xr-x 8 root root 4096 Mar 31 12:50 jdk1.8.0_161
drwxrwxr-x 6 liuge liuge 4096 Mar 7 06:47 node-v8.10.0-linux-x64
[liuge&＃64;csylh softs]$

3.添加到环境变量

:wq保存退出
4.source环境变量,检查是否成功

[liuge&＃64;csylh node-v8.10.0-linux-x64]$ source ~/.bash_profile
[liuge&＃64;csylh node-v8.10.0-linux-x64]$ node -v
v8.10.0
[liuge&＃64;csylh node-v8.10.0-linux-x64]$

看到上面的输出,就说明你的基础环境已经安装完毕

正式开始

前面讲了这么久的基础环境的配置,终于可以正式搭建我们的ELK环境啦

ElasticSearch的安装

1.下载啊(前面也说过,直接在官网下载就可以啦),这是官网的下载地址
https://www.elastic.co/downloads/past-releases,我这里选择的是6.1.3版本
我直接使用wget命令,下载到服务器上的

[liuge&＃64;csylh softs]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.3.tar.gz

2.解压到指定目录

3.做基础配置
因为我使用的是腾讯云的2G内存的服务器,所以需要在某些地方做一定修改.

编辑JVM文件,默认分配jvm空间大小为2g&＃xff0c;需要改小一点

我这里修改为256M,这个大小主要看自己的服务器的内存大小
编辑elasticsearch.yml文件
修改一下几项:
cluster.name: liuge-cluster #集群名称&＃xff0c;以此作为是否是同意集群的判断
node.name: node-liuge #节点名称&＃xff0c;以此作为集群中不同节点的分区条件
path.data: /home/liuge/datas/data #数据存储地址 文件目录需要自己新建
path.logs: /home/liuge/datas/logs #日志存储地址
network.host: 0.0.0.0#&＃xff08;主机地址&＃xff09;对外发布的网络地址,因为我需要远程
http.port: 9200 #ES默认监听的端口

上面的host地址说明:因为我需要开启远程连接,所以就设置为0.0.0.0,你本地的话,直接localhost就是可以的

4.在开始启动之前:我们需要修改系统的环境参数

系统参数要求
fd 最低需要65536
vm 最低262144
max locked memory最低64

以Root用户执行下面语句即可

[root&＃64;csylh ~]# echo "* soft nofile 65536" >> /etc/security/limits.conf
[root&＃64;csylh ~]# echo "* hard nofile 65536" >> /etc/security/limits.conf
[root&＃64;csylh ~]# echo "* soft memlock unlimited" >> /etc/security/limits.conf
[root&＃64;csylh ~]# echo "* hard memlock unlimited" >> /etc/security/limits.conf
[root&＃64;csylh ~]# echo "vm.max_map_count &＃61; 262144" >> /etc/sysctl.conf
[root&＃64;csylh ~]# sysctl -p
vm.max_map_count &＃61; 262144
vm.max_map_count &＃61; 262144
[root&＃64;csylh ~]# ulimit -l unlimited
[root&＃64;csylh ~]#


这样就可以正式启动啦:

./bin/elasticsearch

[liuge&＃64;csylh elasticsearch-6.1.3]$ pwd
/home/liuge/apps/elasticsearch-6.1.3
[liuge&＃64;csylh elasticsearch-6.1.3]$ ./bin/elasticsearch

后台永久启动

nohup ./bin/elasticsearch &

看见上面的输出,就说明,启动成功
web测试:

解决启动可能报错问题
ERROR: [1] bootstrap checks failed...
你需要在配置文件中添加:

安装head插件

1.下载啊

[liuge&＃64;csylh softs]$ wget https://github.com/mobz/elasticsearch-head/archive/master.zip

2.解压啊
3.进入解压后的目录,使用npm install 安装(稍微有点慢,静静等待)
4.启动head插件:npm run start

Kibana安装

还是老套路,下载,解压
下载地址:https://www.elastic.co/downloads/kibana
我这里下载:

[liuge&＃64;csylh softs]$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.1.3-linux-x86_64.tar.gz

ps:注意位数的选择
解压之后,

[liuge&＃64;csylh softs]$ tar -zxvf kibana-6.1.3-linux-x86_64.tar.gz -C ../apps/

进去到主目录,修改默认的配置文件
[liuge&＃64;csylh config]$ vim kibana.yml

# 分别找到以下几项进行修改
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://你的公网地址(或者是localhost):9200"
#:wq保存退出

这样就可以启动啦:

启动成功,注意再启动kibana之前需要先启动elasticsearch
web测试:

Kibana常用功能说明

Discover数据搜索查看
Visualize图表制作
Dashboard仪表盘制作
Timelion时序数据的高级可视化分析
DevTools开发者工具&＃xff08;经常会用到&＃xff09;
Managerment配置管理

Logstash 安装

软件的安装都是很类似的
下载,解压,做一定配置的修改
1.下载地址
https://www.elastic.co/downloads/past-releases
我这里下载的是:

[liuge&＃64;csylh softs]$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.1.3.tar.gz

2.解压到指定目录

3.进入到解压后的目录,做配置的修改
jvm参数

4.开始验证;
简单测试Logstash服务是否正常&＃xff0c;预期将输入的内容结构化的输出到界面上

[liuge&＃64;csylh logstash-6.1.3]$ bin/logstash -e &＃39;input{stdin{}} output{stdout{}}&＃39;

测试通过.说明我们的logstash安装成功

------好啦,到这里,我们的ELK环境就搭建好啦.接下来,我们就是去学习如何去使用这里组件,下一篇准备把X-pack这个插件装上.---------