当前位置: 开发笔记 > 编程语言 > 正文

Logstash之Logstashinputs（file和redis插件）、Logstashoutputs（elasticsearch和redis插件）和Filterplugins

作者：骷髅怪天堂_821 | 来源：互联网 | 2023-06-18 10:35

前期博客 Filebeat啊，根据input来监控数据，根据output来使用数据！！！请移步，Filebeat之input和output（包含Elasticse

前期博客

　　Filebeat啊，根据input来监控数据，根据output来使用数据！！！

　请移步，

Filebeat之input和output（包含Elasticsearch Output 、Logstash Output、 Redis Output、 File Output和 Console Output）

　　Logstash啊，根据input来监控数据，根据output来使用数据！！！

手把手带你看官方文档（Logstash inputs和Logstash outputs）

https://www.elastic.co/guide/index.html

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

https://www.elastic.co/guide/en/logstash/index.html

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

https://www.elastic.co/guide/en/logstash/2.4/index.html

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

　　关于 Logstash inputs、Logstash outputs和Filter plugins，很多很多，自行去官网看，我这里不多赘述。仅仅拿下面来示范：

Logstash 的input

file input

　　最常用的input插件是file。

https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-file.html

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

[hadoop@HadoopMaster logstash-2.4.1]$ pwd
/home/hadoop/app/logstash-2.4.1
[hadoop@HadoopMaster logstash-2.4.1]$ ll
total 164
drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin
-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md
-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS
-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile
-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib
-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE
-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf
-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor
[hadoop@HadoopMaster logstash-2.4.1]$ vim file_stdout.conf

　　这个，是可以自定义的。我这里是

　　path => "/home/hadoop/app.log"
或者
　　path => [ "/home/hadoop/app", "/home/hadoop/*.log" ]

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

input {
    file {
        path => "/home/hadoop/app.log"
    }
}
filter {
    
}
output {
    stdout {}
}

　　我这里是，监控/home/hadoop/app.log这个文件的变化。

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

[hadoop@HadoopMaster logstash-2.4.1]$ pwd
/home/hadoop/app/logstash-2.4.1
[hadoop@HadoopMaster logstash-2.4.1]$ ll
total 168
drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin
-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md
-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS
-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf
-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile
-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib
-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE
-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf
-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor
[hadoop@HadoopMaster logstash-2.4.1]$ bin/logstash -f file_stdout.conf 
Settings: Default pipeline workers: 1
Pipeline main started

　　重新打开，另外一个HadoopMaster界面。

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

[hadoop@HadoopMaster ~]$ pwd
/home/hadoop
[hadoop@HadoopMaster ~]$ ll
total 48
drwxrwxr-x. 12 hadoop hadoop 4096 Mar 27 03:59 app
-rw-rw-r--.  1 hadoop hadoop   18 Mar 26 19:59 app.log
drwxrwxr-x.  7 hadoop hadoop 4096 Mar 25 06:34 data
drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Desktop
drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Documents
drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Downloads
drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Music
drwxr-xr-x.  2 hadoop hadoop 4096 Mar 26 20:35 mybeat
drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Pictures
drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Public
drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Templates
drwxr-xr-x.  2 hadoop hadoop 4096 Oct 31 17:19 Videos
[hadoop@HadoopMaster ~]$ echo bbbbbbb >> app.log 
[hadoop@HadoopMaster ~]$

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

[hadoop@HadoopMaster logstash-2.4.1]$ pwd
/home/hadoop/app/logstash-2.4.1
[hadoop@HadoopMaster logstash-2.4.1]$ ll
total 168
drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin
-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md
-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS
-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf
-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile
-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib
-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE
-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf
-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor
[hadoop@HadoopMaster logstash-2.4.1]$ bin/logstash -f file_stdout.conf 
Settings: Default pipeline workers: 1
Pipeline main started
2017-03-26T22:24:35.897Z HadoopMaster bbbbbbb

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

　　其实，这个文件，.sincedb_8f3299d0a5bdb7df6154f681fc150341也会记录。

注意：

第一次读取新文件，不会有.sincedb等这些，默认根据这个start_position去读，若start_position是end,则读最后。若start_position是begin，则读最开始。

若不是第一次读取文件了，重启Logstash，则会有.sincedb文件了，则就转去根据这个.sincedb文件读了。不管start_position是什么，都不起效了。

　　start_position：指定从什么位置开始读取文件数据，默认是结束位置，也可以指定为从头开始。
　　注意：start_position仅在该文件从未被监听过的时候起作用，因为logstash在读取文件的时候会记录一个.sincedb文件来跟踪文件的读取位置，当文件被读取过一次之后，下次就会从.sincedb中记录的位置读取，start_position参数就无效了。文件默认在用户目录下。

　　注意一个坑：ignore_older属性，表示忽略老的数据，值默认为86400，表示忽略24小时以前的数据。如果你新监控一个24小时以上没有被修改过的老文件的话，就算把start_position设置为beginning，也无法获取之前的数据。

redis input

https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-redis.html

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

[hadoop@HadoopMaster logstash-2.4.1]$ pwd
/home/hadoop/app/logstash-2.4.1
[hadoop@HadoopMaster logstash-2.4.1]$ ll
total 168
drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin
-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md
-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS
-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf
-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile
-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib
-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE
-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf
-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor
[hadoop@HadoopMaster logstash-2.4.1]$ vim redis_stdout.conf

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

input {
    redis {
        host => "192.168.80.12"
    port => 6379
    data_type => "list"
    key => "filebeat"
    }
}
filter {
    
}
output {
    stdout {}
}

　　这里，用到redis，不会用的博友，请移步

redis的安装（图文详解）

　　这里，等我安装好了之后，再来。

Logstash 的output

redis output

https://www.elastic.co/guide/en/logstash/2.4/plugins-outputs-redis.html

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

[hadoop@HadoopMaster logstash-2.4.1]$ pwd
/home/hadoop/app/logstash-2.4.1
[hadoop@HadoopMaster logstash-2.4.1]$ ll
total 172
drwxrwxr-x. 2 hadoop hadoop   4096 Mar 27 03:58 bin
-rw-rw-r--. 1 hadoop hadoop 102879 Nov 14 10:04 CHANGELOG.md
-rw-rw-r--. 1 hadoop hadoop   2249 Nov 14 10:04 CONTRIBUTORS
-rw-rw-r--. 1 hadoop hadoop    107 Mar 27 05:55 file_stdout.conf
-rw-rw-r--. 1 hadoop hadoop   5084 Nov 14 10:07 Gemfile
-rw-rw-r--. 1 hadoop hadoop  23015 Nov 14 10:04 Gemfile.jruby-1.9.lock
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 lib
-rw-rw-r--. 1 hadoop hadoop    589 Nov 14 10:04 LICENSE
-rw-rw-r--. 1 hadoop hadoop     46 Mar 27 05:30 logstash-simple.conf
-rw-rw-r--. 1 hadoop hadoop    149 Nov 14 10:04 NOTICE.TXT
-rw-rw-r--. 1 hadoop hadoop    155 Mar 27 06:43 redis_stdout.conf
drwxrwxr-x. 4 hadoop hadoop   4096 Mar 27 03:58 vendor
[hadoop@HadoopMaster logstash-2.4.1]$ vim stdin_es.conf

elasticsearch output

　　即把Logstash里的数据，写到elasticsearch 集群（这台192.168.80.10里）

　　hosts=>"192.168.80.00"

或
　　hosts=>["192.168.80.10:9200","192.168.80.11:9200","192.168.80.12:9200"]

　　1.x中属性名称叫host
　　默认向es中创建的索引库是logstash-%{+YYYY.MM.dd}，可以利用es中的索引模板特性定义索引库的一些基础配置。

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch 和redis插件）和Filter plugins

input {
    stdin { }
}
filter {
    
}
output {
    elasticsearch {
    hosts => "192.168.80.10:9200"
    }
}

继续

Filter plugins

继续

推荐阅读

install
WordPress Duplicator 0.4.4 版本存在跨站脚本攻击漏洞分析

在对WordPress Duplicator插件0.4.4版本的安全评估中，发现其存在跨站脚本（XSS）攻击漏洞。此漏洞可能被利用进行恶意操作，建议用户及时更新至最新版本以确保系统安全。测试方法仅限于安全研究和教学目的，使用时需自行承担风险。漏洞编号：HTB23162。 ... [详细]

蜡笔小新 2024-11-10 13:16:43
install
ElasticStack 日志监控：Logstash 编码插件详解与生产环境应用实例分析

在ElasticStack日志监控系统中，Logstash编码插件自5.0版本起进行了重大改进。插件被独立拆分为gem包，每个插件可以单独进行更新和维护，无需依赖Logstash的整体升级。这不仅提高了系统的灵活性和可维护性，还简化了插件的管理和部署过程。本文将详细介绍这些编码插件的功能、配置方法，并通过实际生产环境中的应用案例，展示其在日志处理和监控中的高效性和可靠性。 ... [详细]

蜡笔小新 2024-11-09 19:27:28
install
观察 | 求职体验：收到录用通知的公司通常不深究技术细节，而那些详细追问的公司往往没有后续进展

观察 | 求职体验：收到录用通知的公司通常不深究技术细节，而那些详细追问的公司往往没有后续进展 ... [详细]

蜡笔小新 2024-11-08 12:52:17
install
如何在AppFog免费云平台上部署WordPress：详细图文指南

AppFog 是一个基于 CloudFoundry 的多语言 PaaS（平台即服务）提供商，允许用户在其平台上轻松构建和部署 Web 应用程序。本文将通过详细的图文步骤，指导读者如何在 AppFog 免费云平台上成功部署 WordPress，帮助用户快速搭建个人博客或网站。 ... [详细]

蜡笔小新 2024-11-02 12:50:27
install
Android 构建基础流程详解

Android 构建基础流程详解 ... [详细]

蜡笔小新 2024-11-10 15:45:20
install
服务器部署中的安全策略实践与优化

服务器部署中的安全策略实践与优化 ... [详细]

蜡笔小新 2024-11-10 13:04:30
web
优化后的标题：深入探讨网关安全：将微服务升级为OAuth2资源服务器的最佳实践

本文深入探讨了如何将微服务升级为OAuth2资源服务器，以订单服务为例，详细介绍了在POM文件中添加 `spring-cloud-starter-oauth2` 依赖，并配置Spring Security以实现对微服务的保护。通过这一过程，不仅增强了系统的安全性，还提高了资源访问的可控性和灵活性。文章还讨论了最佳实践，包括如何配置OAuth2客户端和资源服务器，以及如何处理常见的安全问题和错误。 ... [详细]

蜡笔小新 2024-11-09 16:13:27
web
提升 Kubernetes 集群管理效率的七大专业工具

Kubernetes 在云原生环境中的应用日益广泛，然而集群管理的复杂性也随之增加。为了提高管理效率，本文推荐了七款专业工具，这些工具不仅能够简化日常操作，还能提升系统的稳定性和安全性。从自动化部署到监控和故障排查，这些工具覆盖了集群管理的各个方面，帮助管理员更好地应对挑战。 ... [详细]

蜡笔小新 2024-11-07 17:01:31
install
在 Windows 系统上使用 Docker 构建 NGINX、PHP、MySQL、Redis 和 Elasticsearch 的集成开发环境

本文介绍了如何在 Windows 系统上利用 Docker 构建一个包含 NGINX、PHP、MySQL、Redis 和 Elasticsearch 的集成开发环境。通过详细的步骤说明，帮助开发者快速搭建和配置这一复杂的技术栈，提升开发效率和环境一致性。 ... [详细]

蜡笔小新 2024-11-07 06:06:15
require
React项目基础教程第五课：深入解析组件间通信机制

React项目基础教程第五课：深入解析组件间通信机制 ... [详细]

蜡笔小新 2024-11-05 17:23:43
python
探索偶数次幂二项式系数的求和方法及其数学意义

探索偶数次幂二项式系数的求和方法及其数学意义 ... [详细]

蜡笔小新 2024-11-05 15:38:39
python
如何高效启动大数据应用之旅？

在前一篇文章中，我探讨了大数据的定义及其与数据挖掘的区别。本文将重点介绍如何高效启动大数据应用项目，涵盖关键步骤和最佳实践，帮助读者快速踏上大数据之旅。 ... [详细]

蜡笔小新 2024-11-04 18:30:38
python
《Hadoop》系列深度探索（三）：物联网技术综述与应用前景

在前一篇文章《Hadoop》系列之“踽踽独行”（二）中，我们详细探讨了云计算的核心概念。本章将重点转向物联网技术，全面解析其基本原理、应用场景及未来发展前景。通过深入分析物联网的架构和技术栈，我们将揭示其在智能城市、工业自动化和智能家居等领域的广泛应用潜力。此外，还将讨论物联网面临的挑战，如数据安全和隐私保护等问题，并展望其在未来技术融合中的重要角色。 ... [详细]

蜡笔小新 2024-11-03 18:20:22
scala
深入掌握Scala面向对象编程与Spark源码解析

在第二课中，我们将深入探讨Scala的面向对象编程核心概念及其在Spark源码中的应用。首先，通过详细的实战案例，全面解析Scala中的类和对象。作为一门纯面向对象的语言，Scala的类设计和对象使用是理解其面向对象特性的关键。此外，我们还将介绍如何通过阅读Spark源码来进一步巩固对这些概念的理解。这不仅有助于提升编程技能，还能为后续的高级应用开发打下坚实的基础。 ... [详细]

蜡笔小新 2024-11-03 14:51:55
web
字节跳动深圳研发中心安全业务团队正在火热招募人才！

字节跳动深圳研发中心安全业务团队正在火热招募人才！ ... [详细]

蜡笔小新 2024-11-02 18:55:30

骷髅怪天堂_821

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章