Logstash基础入门

作者：wurtjq | 来源：互联网 | 2023-09-15 18:13

Logstash 基础入门

一、前言

Logstash 是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。

顾名思义，Logstash 收集数据对象就是日志文件。由于日志文件来源多（如：系统日志、服务器日志等），且内容杂乱，不便于人类进行观察。因此，我们可以使用 Logstash 对日志文件进行收集和统一过滤，变成可读性高的内容，方便开发者或运维人员观察，从而有效的分析系统/项目运行的性能，做好监控和预警的准备工作等。

二、安装

Logstash 依赖 JDK1.8 ，因此在安装之前请确保机器已经安装和配置好 JDK1.8。

Logstash 下载

tar -zxvf logstash-5.6.3.tar.gz -C /usr

cd logstash-5.6.3

三、组成结构

Logstash 通过管道进行运作，管道有两个必需的元素，输入和输出，还有一个可选的元素，过滤器。

输入插件从数据源获取数据，过滤器插件根据用户指定的数据格式修改数据，输出插件则将数据写入到目的地。如下图：

Logstash 基础入门

我们先来一个简单的案例：

bin/logstash -e 'input { stdin { } } output { stdout {} }'

启动 Logstash 后，再键入 Hello World，结果如下：

[root@localhost logstash-5.6.3]# bin/logstash -e 'input { stdin { } } output { stdout {} }'
Sending Logstash's logs to /usr/logstash-5.6.3/logs which is now configured via log4j2.properties
[2017-10-27T00:17:43,438][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"/usr/logstash-5.6.3/modules/fb_apache/configuration"}
[2017-10-27T00:17:43,440][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"/usr/logstash-5.6.3/modules/netflow/configuration"}
[2017-10-27T00:17:43,701][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125}
[2017-10-27T00:17:43,744][INFO ][logstash.pipeline        ] Pipeline main started
The stdin plugin is now waiting for input:
[2017-10-27T00:17:43,805][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
Hello World
2017-10-27T07:17:51.034Z localhost.localdomain Hello World

Hello World（输入）经过 Logstash 管道（过滤）变成：2017-10-27T07:17:51.034Z localhost.localdomain Hello World （输出）。

在生产环境中，Logstash 的管道要复杂很多，可能需要配置多个输入、过滤器和输出插件。

因此，需要一个配置文件管理输入、过滤器和输出相关的配置。配置文件内容格式如下：

#　输入
input {
  ...
}

# 过滤器
filter {
  ...
}

# 输出
output {
  ...
}

根据自己的需求在对应的位置配置输入插件、过滤器插件、输出插件和编码解码插件即可。

四、插件用法

在使用插件之前，我们先了解一个概念：事件。

Logstash 每读取一次数据的行为叫做事件。

在 Logstach 目录中创建一个配置文件，名为 logstash.conf（名字任意）。

4.1 输入插件

输入插件允许一个特定的事件源可以读取到 Logstash 管道中，配置在 input {} 中，且可以设置多个。

修改配置文件：

input {
    # 从文件读取日志信息
    file {
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
    }
}

# filter {
#
# }

output {
    # 标准输出
    stdout { codec => rubydebug }
}

其中，messages 为系统日志。

保存文件。键入：

bin/logstash -f logstash.conf

在控制台结果如下：

{
      "@version" => "1",
          "host" => "localhost.localdomain",
          "path" => "/var/log/messages",
    "@timestamp" => 2017-10-29T07:30:02.601Z,
       "message" => "Oct 29 00:30:01 localhost systemd: Starting Session 16 of user root.",
          "type" => "system"
}
......

4.2 输出插件

输出插件将事件数据发送到特定的目的地，配置在 output {} 中，且可以设置多个。

修改配置文件：

input {
    # 从文件读取日志信息
    file {
        path => "/var/log/error.log"
        type => "error"
        start_position => "beginning"
    }
    
}

# filter {
#
# }

output {
    # 输出到 elasticsearch
    elasticsearch {
        hosts => ["192.168.2.41:9200"]
        index => "error-%{+YYYY.MM.dd}"
    }
}

其中，error.log 的内容格式如下：

2017-08-04 13:57:30.378 [http-nio-8080-exec-1] ERROR c.g.a.global.ResponseResultAdvice -设备数据为空
com.light.pay.common.exceptions.ValidationException: 设备数据为空
	at com.light.pay.common.validate.Check.isTrue(Check.java:31)
	at com.light.attendance.controllers.cloudApi.DevicePushController.deviceInfoPush(DevicePushController.java:44)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)
2017-08-04 13:57:44.495 [http-nio-8080-exec-2] ERROR c.g.a.global.ResponseResultAdvice -Failed to invoke remote method: pushData, provider: dubbo://192.168.2.100:20880/com.light.attendance.api.DevicePushApi?application=salary-custom&default.check=false&default.timeout=30000&dubbo=2.8.4&interface=com.light.attendance.api.DevicePushApi&methods=getAllDevices,getDeviceById,pushData&organization=com.light.attendance&ow
......

配置文件中使用 elasticsearch 输出插件。输出的日志信息将被保存到 Elasticsearch 中，索引名称为 index 参数设置的格式。

如果读者不了解 Elasticsearch 基础内容，可以查看本站《Elasticsearch 基础入门》文章或自行百度进行知识的补缺。

保存文件。键入：

bin/logstash -f logstash.conf

打开浏览器访问 http://192.168.2.41:9100 使用 head 插件查看 Elasticsearch 数据，结果如下图：

Logstash 基础入门

踩坑提醒：
file 输入插件默认使用 “\n” 判断日志中每行的边界位置。error.log 是笔者自己编辑的错误日志，之前由于在复制粘贴日志内容时，忘记在内容末尾换行，导致日志数据始终无法导入到 Elasticsearch 中。在此，提醒各位读者这个关键点。

4.3 编码解码插件

编码解码插件本质是一种流过滤器，配合输入插件或输出插件使用。

从上图中，我们发现一个问题：Java 异常日志被拆分成单行事件记录到 Elasticsearch 中，这不符合开发者或运维人员的查看习惯。因此，我们需要对日志信息进行编码将多行事件转成单行事件记录起来。

我们需要配置 Multiline codec 插件，这个插件可以将多行日志信息合并成一行，作为一个事件处理。

Logstash 默认没有安装该插件，需要开发者自行安装。键入：

bin/logstash-plugin install logstash-codec-multiline

修改配置文件：

input {
    # 从文件读取日志信息
    file {
        path => "/var/log/error.log"
        type => "error"
        start_position => "beginning"
        # 使用 multiline 插件
        codec => multiline {
            # 通过正则表达式匹配，具体配置根据自身实际情况而定
            pattern => "^\d"
            negate => true
            what => "previous"
        }
    }

}

# filter {
#
# }

output {
    # 输出到 elasticsearch
    elasticsearch {
        hosts => ["192.168.2.41:9200"]
        index => "error-%{+YYYY.MM.dd}"
    }
}

保存文件。键入：

bin/logstash -f logstash.conf

使用 head 插件查看 Elasticsearch 数据，结果如下图：

Logstash 基础入门

4.4 过滤器插件

过滤器插件位于 Logstash 管道的中间位置，对事件执行过滤处理，配置在 filter {}，且可以配置多个。

本次测试使用 grok 插件演示，grok 插件用于过滤杂乱的内容，将其结构化，增加可读性。

安装：

bin/logstash-plugin install logstash-filter-grok

修改配置文件：

input {
     stdin {}
}


filter {
     grok {
       match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER
:duration}" }
     }
}


output {
     stdout {
        codec => "rubydebug"
     }
}

保存文件。键入：

bin/logstash -f logstash.conf

启动成功后，我们输入：

55.3.244.1 GET /index.html 15824 0.043

控制台返回：

[root@localhost logstash-5.6.3]# bin/logstash -f logstash.conf 
Sending Logstash's logs to /root/logstash-5.6.3/logs which is now configured via log4j2.properties
[2017-10-30T08:23:20,456][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"/root/logstash-5.6.3/modules/fb_apache/configuration"}
[2017-10-30T08:23:20,459][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"/root/logstash-5.6.3/modules/netflow/configuration"}
[2017-10-30T08:23:21,447][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125}
The stdin plugin is now waiting for input:
[2017-10-30T08:23:21,516][INFO ][logstash.pipeline        ] Pipeline main started
[2017-10-30T08:23:21,573][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
55.3.244.1 GET /index.html 15824 0.043
{
      "duration" => "0.043",
       "request" => "/index.html",
    "@timestamp" => 2017-10-30T15:23:23.912Z,
        "method" => "GET",
         "bytes" => "15824",
      "@version" => "1",
          "host" => "localhost.localdomain",
        "client" => "55.3.244.1",
       "message" => "55.3.244.1 GET /index.html 15824 0.043"
}

输入的内容被匹配到相应的名字中。

五、参考资料

https://www.elastic.co/guide/en/logstash/current/index.html 官方文档

推荐阅读

cmd
Docker安全策略与管理

本文探讨了Docker的安全挑战、核心安全特性及其管理策略，旨在帮助读者深入理解Docker安全机制，并提供实用的安全管理建议。 ... [详细]

蜡笔小新 2024-11-21 20:03:03
config
探索阿里巴巴的开源世界

从理想主义者的内心深处萌发的技术信仰，推动了云原生技术在全球范围内的快速发展。本文将带你深入了解阿里巴巴在开源领域的贡献与成就。 ... [详细]

蜡笔小新 2024-11-21 09:06:54
int
Vue3中如何提高开发效率

小编给大家分享一下Vue3中如何提高开发效率，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获， ... [详细]

蜡笔小新 2024-11-20 15:33:07
config
Windows环境下Apache频繁崩溃的解决方案

本文探讨了在Windows系统中运行Apache服务器时频繁出现崩溃的问题，并提供了多种可能的解决方案和建议。错误日志显示多个子进程因达到最大请求限制而退出。 ... [详细]

蜡笔小新 2024-11-20 13:07:27
int
解决Tomcat启动时出现org.apache.catalina.LifecycleException异常的方法

在尝试启动Java应用服务器Tomcat时，遇到了org.apache.catalina.LifecycleException异常。本文详细记录了异常的具体表现形式，并提供了有效的解决方案。 ... [详细]

蜡笔小新 2024-11-19 11:46:52
int
Java代码保护与混淆：ProGuard详解

在Java开发中，保护代码安全是一个重要的课题。由于Java字节码容易被反编译，因此使用代码混淆工具如ProGuard变得尤为重要。本文将详细介绍如何使用ProGuard进行代码混淆，以及其基本原理和常见问题。 ... [详细]

蜡笔小新 2024-11-18 16:46:17
install
Linux环境下MySQL的安装与配置

本文详细介绍了在Linux系统上安装和配置MySQL的步骤，包括安装前的准备工作、下载和解压安装包、初始化数据库、配置文件编辑、启动服务以及设置开机自启动等。 ... [详细]

蜡笔小新 2024-11-18 12:25:15
install
CentOS 7 下 Python 3.7 的安装与配置

本文详细介绍了在 CentOS 7 系统中安装 Python 3.7 的步骤，包括编译工具的安装、Python 3.7 源码的下载与编译、软链接的创建以及常见错误的处理方法。 ... [详细]

蜡笔小新 2024-11-18 12:21:04
filter
深入解析Dubbo：使用与源码分析

本文详细介绍了Dubbo的使用方法和源码分析，涵盖其架构设计、核心特性和调用流程。 ... [详细]

蜡笔小新 2024-11-18 03:51:49
config
CentOS下ProFTPD的安装与配置指南

本文详细介绍在CentOS操作系统上安装和配置ProFTPD服务的方法，包括基本配置、安全设置及高级功能的启用。 ... [详细]

蜡笔小新 2024-11-21 09:45:56
cmd
在IIS上部署Orchard时遇到的技术挑战

本文记录了在Windows 8.1系统环境下，使用IIS 8.5和Visual Studio 2013部署Orchard 1.7.2过程中遇到的问题及解决方案，包括503服务不可用错误和web.config配置错误。 ... [详细]

蜡笔小新 2024-11-20 16:51:36
int
Elasticsearch 分页查询策略详解

本文详细介绍了Elasticsearch中的分页查询机制，包括基本的分页查询流程、'from-size'浅分页与'scroll'深分页的区别及应用场景，以及两者在性能上的对比。 ... [详细]

蜡笔小新 2024-11-20 10:33:23
int
Kafka Topic 级别配置详解

本文详细介绍了如何在Apache Kafka中进行Topic级别的配置，包括创建、修改和删除配置参数的具体步骤，并提供了详细的配置属性表。 ... [详细]

蜡笔小新 2024-11-20 09:37:10
java
Kafka入门指南

本文将详细介绍如何在CentOS 7上安装和配置Kafka，包括必要的环境准备、JDK和Zookeeper的配置步骤。 ... [详细]

蜡笔小新 2024-11-18 17:41:13
int
CentOS7通过RealVNC实现多人使用服务器桌面

背景：公司研发团队通过VNC登录到CentOS服务器的桌面实现软件开发工作为防止数据外泄，需要在RealVNC设置禁止传输文件、访问粘贴板等策略过程&# ... [详细]

蜡笔小新 2024-11-18 09:22:21

wurtjq

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章