热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

ELK【elasticsearch,kibana,logstash】安装部署

1,准备linux虚拟机环境(CentOS7)本次安装用的是ELK7.2.0的版本(版本一定要一致)2,先在linux安装java环境查找安装列表yum-ylistjava*安装y

1,准备linux虚拟机环境(CentOS 7)本次安装用的是ELK7.2.0的版本(版本一定要一致)

2,先在linux安装java环境

//查找安装列表
yum -y list java*
//安装
yum install java-1.8.0-openjdk.x86_64
//完成安装后验证
java -version

3,安装elasticsearch-7.2.0

将elasticsearch-7.2.0-linux-x86_64.tar.gz 解压到linux安装的目录下

3.1,这里需要新建一个es启动账户,安全策略es不允许root启动

//关闭防火墙
systemctl stop firewalld.service
//禁止防火墙开机启动
systemctl disable firewalld.service
//添加用户
useradd es -g es -p es
//给用户添加目录的启动权限
chown -R es:es /data/es/elasticsearch-6.8.0
//切换到es账户
su es

 3.2,修改elasticsearch配置文件,elasticsearch/config/jvm.options

ELK【elasticsearch,kibana,logstash】安装部署

 配置elasticsearch启动的最大最小内存,测试默认为1G ,他推荐的是4G ,这里根据具体的业务需求配置大小

3.3,配置elasticsearch/config/elasticsearch.yml

node.name: node-1 //单节点名称
network.host: 0.0.0.0 //配置外网可访问
http.port: 9200         //默认端口号
cluster.initial_master_nodes: node-1 //主节点名称

 

3.4,启动错误

 [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

 [2]: max number of threads [3818] for user [es] is too low, increase to at least [4096]

这里需要修改linux系统允许的最多文件,最大进程的许可

在 /etc/security/limits.conf 追加系统配置

//* 标识所有的系统用户有效
* hard nofile 655360
* soft nofile 131072
* hard nproc 4096
* hard nproc 2048

[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

在/etc/sysctl.conf追加 授权使用更大的内存

vm.max_map_count=655360
fs.file-max=655360

 3.5 切换到elasticsearch/bin文件夹下。使用es账户启动

//直接运行
sh ./elasticsearch
//后台运行
nohup ./elasticsearch & 

 

3.6 验证安装成功

在浏览器访问http://IP:9200/

{
  "name" : "node-1",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "a4_P0BS9TpuAZ1RslXEATQ",
  "version" : {
    "number" : "7.2.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "508c38a",
    "build_date" : "2019-06-20T15:54:18.811730Z",
    "build_snapshot" : false,
    "lucene_version" : "8.0.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

查看集群状态http://IP/_cat/health

1594953433 02:37:13 elasticsearch green 1 1 2 2 0 0 0 0 - 100.0%

 4,安装kibana-7.2.0

将kibana-7.2.0-linux-x86_64.tar.gz 解压到linux安装的目录下

1,配置kibana/config/kibana.yml

//Kibana默然端口
server.port: 5601
//授权访问
server.host: "0.0.0.0"
//es地址,数据来源
elasticsearch.hosts: ["http://ip:9200"]

2,启动Kibana,进入Kibana/Bin

//直接运行
sh ./Kibana
//后台运行
nohup ./Kibana & 

3,验证是否安装成功http://ip:5601

ELK【elasticsearch,kibana,logstash】安装部署

 

 5,安装logstash-7.2.0

5.1,解压到安装目录

5.2,在config下创建启动配置文件

       

vi logstash-startup.config
//写入配置

input {
  stdin{}
}
output {
   stdout{codec=>"rubydebug"}
}

 //启动测试

./bin/logstash -f config/logstash-startup.config

 5.3,输入测试文本,经过logstash的收集处理, 成功输出给命令行

ELK【elasticsearch,kibana,logstash】安装部署

 

配置logstash接收来自filebeat的json数据

input {
  beats {
    #监测的端口
    port => 5044
    codec => json     # 直接将filebeat保存在message中的json字串解析出来
  }
}
filter {
  json {
    source => "message"
  }
}
output {
  elasticsearch {
    hosts => ["ip:9200"]
    codec => json{
         charset => "UTF-8"
    }
    index => "log_visit"
  }
  stdout{codec=>"rubydebug"}
}

 


推荐阅读
  • 本文探讨了在使用 MyBatis 进行批量数据处理时遇到的参数绑定异常问题,并提供了详细的解决方案。 ... [详细]
  • 本文详细介绍了PHP中的几种超全局变量,包括$GLOBAL、$_SERVER、$_POST、$_GET等,并探讨了AJAX的工作原理及其优缺点。通过具体示例,帮助读者更好地理解和应用这些技术。 ... [详细]
  • 本文探讨了一个Web工程项目的需求,即允许用户随时添加定时任务,并通过Quartz框架实现这些任务的自动化调度。文章将介绍如何设计任务表以存储任务信息和执行周期,以及如何通过一个定期扫描机制自动识别并加载新任务到调度系统中。 ... [详细]
  • 本文详细介绍了在PHP中如何获取和处理HTTP头部信息,包括通过cURL获取请求头信息、使用header函数发送响应头以及获取客户端HTTP头部的方法。同时,还探讨了PHP中$_SERVER变量的使用,以获取客户端和服务器的相关信息。 ... [详细]
  • 本文概述了在GNU/Linux系统中,动态库在链接和运行阶段的搜索路径及其指定方法,包括通过编译时参数、环境变量及系统配置文件等方式来控制动态库的查找路径。 ... [详细]
  • 本文详细介绍了在MyBatis框架中如何通过#和$两种方式来传递SQL查询参数。使用#方式可以提高执行效率,而使用$则有助于在复杂SQL语句中更好地查看日志。此外,文章还探讨了不同场景下的参数传递方法,包括实体对象、基本数据类型以及混合参数的使用。 ... [详细]
  • 宝塔面板下启用HTTPS的详细指南
    本文提供了在宝塔面板环境中配置HTTPS的具体步骤,确保您的网站通信更加安全可靠。 ... [详细]
  • 本文详细对比了HashMap和HashTable在多线程环境下的安全性、对null值的支持、性能表现以及方法同步等方面的特点,帮助开发者根据具体需求选择合适的数据结构。 ... [详细]
  • 本文详细介绍了Socket在Linux内核中的实现机制,包括基本的Socket结构、协议操作集以及不同协议下的具体实现。通过这些内容,读者可以更好地理解Socket的工作原理。 ... [详细]
  • 2023年1月28日网络安全热点
    涵盖最新的网络安全动态,包括OpenSSH和WordPress的安全更新、VirtualBox提权漏洞、以及谷歌推出的新证书验证机制等内容。 ... [详细]
  • Java高级工程师学习路径及面试准备指南
    本文基于一位朋友的PDF面试经验整理,涵盖了Java高级工程师所需掌握的核心知识点,包括数据结构与算法、计算机网络、数据库、操作系统等多个方面,并提供了详细的参考资料和学习建议。 ... [详细]
  • 本文详细介绍了如何在PHP中使用Memcached进行数据缓存,包括服务器连接、数据操作、高级功能等。 ... [详细]
  • selenium通过JS语法操作页面元素
    做过web测试的小伙伴们都知道,web元素现在很多是JS写的,那么既然是JS写的,可以通过JS语言去操作页面,来帮助我们操作一些selenium不能覆盖的功能。问题来了我们能否通过 ... [详细]
  • 在CentOS 7中部署Nginx并配置SSL证书
    本文详细介绍了如何在CentOS 7操作系统上安装Nginx服务器,并配置SSL证书以增强网站的安全性。适合初学者和中级用户参考。 ... [详细]
  • 本文介绍了如何通过安装和配置php_uploadprogress扩展来实现文件上传时的进度条显示功能。通过一个简单的示例,详细解释了从安装扩展到编写具体代码的全过程。 ... [详细]
author-avatar
和雅竹
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有