ELK+Filebeat+Kafka+Zookeeper构建大数据日志分析平台二

[root&＃64;localhost elasticsearch]# useradd elasticsearch
[root&＃64;localhost elasticsearch]# passwd elasticsearch
更改用户 elasticsearch 的密码 。
新的 密码&＃xff1a;
无效的密码&＃xff1a; 密码少于 8 个字符
重新输入新的 密码&＃xff1a;
passwd&＃xff1a;所有的身份验证令牌已经成功更新。
[root&＃64;localhost elasticsearch]# chown -R elasticsearch:elasticsearch /usr/local/elasticsearch

fs.file-max&＃61;655360
vm.max_map_count &＃61; 262144

*        soft    nproc           20480
*        hard    nproc           20480
*        soft    nofile          655360
*        hard    nofile          655360
*        soft    memlock         unlimited
*        hard    memlock         unlimited

调整进程最大打开文件描述符&＃xff08;nofile&＃xff09;、最大用户进程数&＃xff08;nproc&＃xff09;和最大锁定内存地址空间&＃xff08;memlock&＃xff09;修改/etc/security/limits.d/20-nproc.conf文件&＃xff08;centos7.x系统&＃xff09;&＃xff0c;将&＃xff1a;
*          soft    nproc     4096
修改为&＃xff1a;
*          soft    nproc     40960
或者直接删除/etc/security/limits.d/20-nproc.conf文件也行。

[root&＃64;localhost ~]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 3795
max locked memory       (kbytes, -l) unlimited
max memory size         (kbytes, -m) unlimited
open files                      (-n) 655360
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 20480
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

(1&＃xff09;cluster.name: elkbigdata配置elasticsearch集群名称&＃xff0c;默认是elasticsearch。这里修改为elkbigdata&＃xff0c;elasticsearch会自动发现在同一网段下的集群名为elkbigdata的主机。
&＃xff08;2&＃xff09;node.name: server1节点名&＃xff0c;任意指定一个即可&＃xff0c;这里是server1&＃xff0c;我们这个集群环境中有三个节点&＃xff0c;分别是server1、server2和server3&＃xff0c;记得根据主机的不同&＃xff0c;要修改相应的节点名称。
&＃xff08;3&＃xff09;node.master: true指定该节点是否有资格被选举成为master&＃xff0c;默认是true&＃xff0c;elasticsearch集群中默认第一台启动的机器为master角色&＃xff0c;如果这台服务器宕机就会重新选举新的master。
&＃xff08;4&＃xff09;node.data: true指定该节点是否存储索引数据&＃xff0c;默认为true&＃xff0c;表示数据存储节点&＃xff0c;如果节点配置node.master:false并且node.data: false&＃xff0c;则该节点就是client node。这个client node类似于一个“路由器”&＃xff0c;负责将集群层面的请求转发到主节点&＃xff0c;将数据相关的请求转发到数据节点。
&＃xff08;5&＃xff09;path.data:/data1/elasticsearch,/data2/elasticsearch设置索引数据的存储路径&＃xff0c;默认是elasticsearch根目录下的data文件夹&＃xff0c;这里自定义了两个路径&＃xff0c;可以设置多个存储路径&＃xff0c;用逗号隔开。
&＃xff08;6&＃xff09;path.logs: /usr/local/elasticsearch/logs设置日志文件的存储路径&＃xff0c;默认是elasticsearch根目录下的logs文件夹
&＃xff08;7&＃xff09;bootstrap.memory_lock: true此配置项一般设置为true用来锁住物理内存。  linux下可以通过“ulimit -l” 命令查看最大锁定内存地址空间&＃xff08;memlock&＃xff09;是不是unlimited
&＃xff08;8&＃xff09;network.host: 0.0.0.0此配置项用来设置elasticsearch提供服务的IP地址&＃xff0c;默认值为0.0.0.0&＃xff0c;此参数是在elasticsearch新版本中增加的&＃xff0c;此值设置为服务器的内网IP地址即可。
&＃xff08;9&＃xff09;http.port: 9200设置elasticsearch对外提供服务的http端口&＃xff0c;默认为9200。其实&＃xff0c;还有一个端口配置选项transport.tcp.port&＃xff0c;此配置项用来设置节点间交互通信的TCP端口&＃xff0c;默认是9300。
&＃xff08;10&＃xff09;discovery.zen.minimum_master_nodes: 1配置当前集群中最少的master节点数&＃xff0c;默认为1&＃xff0c;也就是说&＃xff0c;elasticsearch集群中master节点数不能低于此值&＃xff0c;如果低于此值&＃xff0c;elasticsearch集群将停止运行。在三个以上节点的集群环境中&＃xff0c;建议配置大一点的值&＃xff0c;推荐2至4个为好。
&＃xff08;11&＃xff09;discovery.zen.ping.unicast.hosts: ["172.16.213.37:9300","172.16.213.78:9300"]设置集群中master节点的初始列表&＃xff0c;可以通过这些节点来自动发现新加入集群的节点。这里需要注意&＃xff0c;master节点初始列表中对应的端口是9300。即为集群交互通信端口。

[root&＃64;localhost elasticsearch]# pwd
/usr/local/elasticsearch
[root&＃64;localhost elasticsearch]# bin/elasticsearch -d

[root&＃64;localhost ~]# cd /usr/local/
[root&＃64;localhost local]#
[root&＃64;localhost local]# cd elasticsearch/
[root&＃64;localhost elasticsearch]# ls
bin  config  lib  LICENSE.txt  logs  modules  NOTICE.txt  plugins  README.textile
[root&＃64;localhost elasticsearch]# chown -R elasticsearch:elasticsearch logs
[root&＃64;localhost elasticsearch]# ll
总用量 448
drwxr-xr-x.  3 elasticsearch elasticsearch   4096 4月  16 21:44 bin
drwxr-xr-x.  2 elasticsearch elasticsearch    178 4月  17 11:08 config
drwxr-xr-x.  2 elasticsearch elasticsearch   4096 7月  20 2018 lib
-rw-r--r--.  1 elasticsearch elasticsearch  13675 7月  20 2018 LICENSE.txt
drwxr-xr-x.  2 elasticsearch elasticsearch    244 4月  17 11:08 logs
drwxr-xr-x. 17 elasticsearch elasticsearch   4096 7月  20 2018 modules
-rw-r--r--.  1 elasticsearch elasticsearch 416018 7月  20 2018 NOTICE.txt
drwxr-xr-x.  2 elasticsearch elasticsearch      6 7月  20 2018 plugins
-rw-r--r--.  1 elasticsearch elasticsearch   8511 7月  20 2018 README.textile
[root&＃64;localhost elasticsearch]#

tickTime&＃61;2000
initLimit&＃61;10
syncLimit&＃61;5
dataDir&＃61;/data/zookeeper
clientPort&＃61;2181
server.1&＃61;172.16.213.51:2888:3888
server.2&＃61;172.16.213.109:2888:3888
server.3&＃61;172.16.213.75:2888:3888

  tickTime&＃xff1a;zookeeper使用的基本时间度量单位&＃xff0c;以毫秒为单位&＃xff0c;它用来控制心跳和超时。2000表示2 tickTime。更低的tickTime值可以更快地发现超时问题。initLimit&＃xff1a;这个配置项是用来配置Zookeeper集群中Follower服务器初始化连接到Leader时&＃xff0c;最长能忍受多少个心跳时间间隔数&＃xff08;也就是tickTime&＃xff09;syncLimit&＃xff1a;这个配置项标识Leader与Follower之间发送消息&＃xff0c;请求和应答时间长度最长不能超过多少个tickTime的时间长度dataDir&＃xff1a;必须配置项&＃xff0c;用于配置存储快照文件的目录。需要事先创建好这个目录&＃xff0c;如果没有配置dataLogDir&＃xff0c;那么事务日志也会存储在此目录。clientPort&＃xff1a;zookeeper服务进程监听的TCP端口&＃xff0c;默认情况下&＃xff0c;服务端会监听2181端口。server.A&＃61;B:C:D&＃xff1a;其中A是一个数字&＃xff0c;表示这是第几个服务器&＃xff1b;B是这个服务器的IP地址&＃xff1b;C表示的是这个服务器与集群中的Leader服务器通信的端口&＃xff1b;D 表示如果集群中的Leader服务器宕机了&＃xff0c;需要一个端口来重新进行选举&＃xff0c;选出一个新的 Leader&＃xff0c;而这个端口就是用来执行选举时服务器相互通信的端口。

export ZOOKEEPER_HOME&＃61;/usr/local/zookeeper
export PATH&＃61;$PATH:$ZOOKEEPER_HOME/bin#使刚修改的文件生效
source /etc/profile