热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

安装ELKelasticsearch+logstash+kibana日志监控系统简单配置

安装ELK,版本如下:Elasticsearch 2.3.5Logstash 2.3.4Kibana 4.5.4下载地址,请参考官网https:www.elastic.codown
安装ELK ,版本如下:
Elasticsearch 2.3.5
Logstash 2.3.4
Kibana 4.5.4
下载地址,请参考官网
https://www.elastic.co/downloads
 
一、ES
1、启动
[root@elasticseach1 bin]# ./elasticsearch start
ERROR: Parameter [start]does not start with --
 
[root@elasticseach1 bin]# ./elasticsearch
Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root.
at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:93)
at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:144)
at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:270)
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:35)
Refer to the log for complete error details.
 
解决方法1:
在执行elasticSearch时加上参数-Des.insecure.allow.root=true,完整命令如下:
./elasticsearch -Des.insecure.allow.root=true  
 
解决办法2:
用vi打开elaticsearch执行文件,在变量ES_JAVA_OPTS使用前添加以下命令:
ES_JAVA_OPTS="-Des.insecure.allow.root=true"  
安装ELK elasticsearch+logstash+kibana日志监控系统简单配置
 
修改后,./elasticsearch 启动成功
 
2、修改elasticsearch.yml
cluster.name 和 node.name
以及 network.host 为服务器ip
 
3、安装 elasticsearch 的插件head:
安装:
./elasticsearch/bin/plugin install mobz/elasticsearch-head
访问:
http://localhost:9200/_plugin/head/
 
 
彻底解决启动elasticSearch 时,建议不要用root 用户启动的warning :
由于ElasticSearch可以接收用户输入的脚本并且执行,为了系统安全考虑,
建议创建一个单独的用户用来运行ElasticSearch
 
1、创建elsearch用户组及elsearch用户
groupadd elsearch
2、更改elasticsearch文件夹及内部文件的所属用户及组为elsearch:elsearch
useradd elsearch -g elsearch -p elasticsearch
3、屏蔽掉 bin/elasticsearch 文件的 ES_JAVA_OPTS="-Des.insecure.allow.root=true"
4、给/elasticsearch/logs 和 data 里面的文件可写权限 chmod -R 777 logs,chmod -R 777 data
5、切换到elsearch 用户, su elsearch ,再运行
 
二、Logstash:
1、bin 目录下新建 etc 目录,
vi logstash/etc/logstash_agent.conf
input {
  file {
    type => "nginx.access"
    path =>["/data/nginx/logs/access.log"]
  }
}
 
output {
  elasticsearch {
    hosts => ["10.100.100.60:9300"]
  }
}
 
2、启动
 
[root@elasticseach1 bin]# ./logstash -f etc/logstash_agent.conf
Settings: Default pipeline workers: 2
The server failed to respond with a valid HTTP response {:class=>"Manticore::ClientProtocolException", :level=>:error}
Pipeline main started 报错
 
vi logstash/etc/logstash_agent.conf 修改为:
input {
  file {
    type => "nginx.access"
    path =>["/data/nginx/logs/access.log"]
  }
}
 
output {
  # stdout{}
  elasticsearch {
    hosts => ["10.100.100.60:9200"]
    index => "test_output-%{type}-%{+YYYY.MM.dd}"
  }
}
重新启动,成功
Settings: Default pipeline workers: 2
Pipeline main started
 
 
三、kibana
1、修改kibana.yml 里面的
server.host ,elasticsearch_url 以及 去掉 kibana.index 的注释
./kibana 启动
 
 
四、kibana 连接es 索引
1、导入json数据到es 中
curl -XPOST '10.100.100.60:9200/shakespeare/_bulk?pretty' --data-binary @shakespeare.json
 
 
2、从redis 中导入数据到es
# 10.100.100.60:6379 ,成功
input {
  redis {
    host => "10.100.100.60"
    type => "redis-input"
    data_type => "list"
    key => "elk_data"
  }
}
 
output {
  elasticsearch {
    hosts => ["10.100.100.60:9200"]
    index => "logstash-%{type}-%{+YYYY.MM.dd}"
  }
}
 
 
从 两台redis 里面导数据
input {
  redis {
    host => "10.100.100.60"
    type => "redis-60-input"
    data_type => "list"
    key => "elk_data"
  }
  redis {
    host => "10.100.100.35"
    type => "redis-35-input"
    data_type => "list"
    key => "elk_data"
    }
}
 
output {
  elasticsearch {
    hosts => ["10.100.100.60:9200"]
    index => "logstash-%{type}-%{+YYYY.MM.dd}"
  }
}
 
要注意 redis 能连接上
以上的服务启动都不是后台启动,后台启动请加上 &

推荐阅读
  • ELK+filebeat安装部署监控springboot日志
    ELK服务器端部署1.安装dockercompose,略2.配置docker-compose.ymlcdrootelkvidocker-compose.ymlversion:&am ... [详细]
  • ELK stack 学习记录
    ELK日志分析平台学习记录首先ELK主要指elasticsearch、logstash和kibana,三个开源软件组合而成的一套日志平台解决方案。可以将平时收集到的日志,通过前台展 ... [详细]
  • 如何配置VisualSVN以确保提交时必须填写日志信息
    在软件开发团队中,成员们有时会忘记在提交代码时添加必要的备注信息。为了规范这一流程,可以通过配置VisualSVN来强制要求团队成员在提交文件时填写日志信息。本文将详细介绍如何设置这一功能。 ... [详细]
  • Redis 脑裂现象及其应对策略
    本文探讨了 Redis 集群中的脑裂现象及其解决方案,包括脑裂的成因、影响以及如何通过配置项防止脑裂的发生。 ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • 秒建一个后台管理系统?用这5个开源免费的Java项目就够了
    秒建一个后台管理系统?用这5个开源免费的Java项目就够了 ... [详细]
  • 本书《.NET Core 2.* 开发者指南》是面向开发者的全面学习与实践手册,涵盖了从基础到高级的各个层面。书中详细解析了 .NET Core 的核心概念,包括如何创建 .NET Core 网站,并通过视频教程直观展示操作过程。此外,还深入探讨了 Startup 类的作用、项目目录结构的组织方式以及如何在应用中使用静态文件等内容。对于希望深入了解 .NET Core 架构和开发技巧的开发者来说,本书提供了丰富的实践案例和详尽的技术指导。 ... [详细]
  • 安装流程比较简单,只需要下载安装包,解压安装包,修改配置文件,然后启动组件即可,但还是遇到一些小问题,这里做一下记录。各个组件版本号需要保持一样,例如都使用7.1.1版本es不能以 ... [详细]
  • 本文整理了一份基础的嵌入式Linux工程师笔试题,涵盖填空题、编程题和简答题,旨在帮助考生更好地准备考试。 ... [详细]
  • 本文详细介绍了HDFS的基础知识及其数据读写机制。首先,文章阐述了HDFS的架构,包括其核心组件及其角色和功能。特别地,对NameNode进行了深入解析,指出其主要负责在内存中存储元数据、目录结构以及文件块的映射关系,并通过持久化方案确保数据的可靠性和高可用性。此外,还探讨了DataNode的角色及其在数据存储和读取过程中的关键作用。 ... [详细]
  • java电商,java电商项目面试题
    本文目录一览:1、为什么很多商家选择Java商城系统? ... [详细]
  • 搞懂 ELK 并不是一件特别难的事
    点击下方“民工哥技术之路”,选择“设为星标”回复“1024”获取独家整理的学习资料!本篇文章主要介绍ELK的一些框架组成,原理和实践&#x ... [详细]
  • 1.ELK系统是什么ELK是一套日志中心解决方案,其三个字母分别表示:Elasticsearch:负责日志存储及检索Logstash&#x ... [详细]
  • 用elastic stack来分析下你的redis slowlog
    redis是目前最流行的NoSQL内存数据库,然而如果在使用过程中出现滥用、乱用的情况,很容易发生性能问题,此时我们就要去关注慢查询日志& ... [详细]
  • Rancher 部署 logstash
    RancherOnlogstash一、下载logstash镜像二、创建挂载目录与映射配置文件2.1创建配置文件2.2配置启动命令2.3映射配置文件概述:logstas ... [详细]
author-avatar
手机用户2502919951
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有