热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

ElasticStack日志监控:Logstash编码插件详解与生产环境应用实例分析

在ElasticStack日志监控系统中,Logstash编码插件自5.0版本起进行了重大改进。插件被独立拆分为gem包,每个插件可以单独进行更新和维护,无需依赖Logstash的整体升级。这不仅提高了系统的灵活性和可维护性,还简化了插件的管理和部署过程。本文将详细介绍这些编码插件的功能、配置方法,并通过实际生产环境中的应用案例,展示其在日志处理和监控中的高效性和可靠性。

新版插件:


说明: 从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin --help帮助信息../bin/logstash-plugin list其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下

扩展: 如果GitHub上面(https://github.com/logstash-plugins/)发布了扩展插件,可通过./bin/logstash-plugin install ,当然升级也很方便./bin/logstash-plugin update ,如果要安装更新本地已有的插件可通过./bin/logstash-plugin install/update 即可.

注意: 默认./bin/logstash-plugin install/update时是到https://rubygems.org/下载包,速度非常慢,所以强烈推荐手动从https://github.com/logstash-plugins/https://rubygems.org/下载下来更新


解码插件: https://www.elastic.co/guide/en/logstash/current/codec-plugins.html


说明: 编码插件可用于input/output区段中,可以改变事件的数据表示,之前版本只支持纯文本输入,现在可输入期处理不同类型的数据,数据流变为input | decode | filter | encode | output,codec的出现,使得更方便的与其它自定义数据格式的运维产品共存,支持如上列表中所有的插件

插件名称: json(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-json.html)


input {    file {
        path => ["/xm-workspace/xm-webs/xmcloud/logs/*.log"]
        type => "dss-pubserver"
codec => json
        start_position => "beginning"
    }
}
output{
    stdout{
        codec => rubydebug
    }
}

说明: 很多时候为了降低过滤器的CPU负载,会直接输入预定义的Json数据,这样可以省略掉filter/grok配置,对于web服务器apache/nginx的访问日志可以很好的工作,不过如果作为代理服务器运行时,访问日志中有些变量如$upstream_response_time可能不是数字而是"-",导致输入数据验证异常,可以加双引号,也可以通过input插件的stdin从终端读取sed替换后导入.


插件名称: multilline(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html)

input {    stdin {        codec => multiline {            patterns_dir => ["/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.0.2/patterns"]            pattern => "^%{YEAR}/%{MONTHNUM2}/%{MONTHDAY} %{TIME}"            negate => true            what => "previous"        }    }}output{    stdout{        codec => rubydebug    }}

生产案例:

2016/07/09 10:19:49 [notice] 32715#0: start worker process 327172016/07/09 10:20:19 [error] 32716#0: *1 lua entry thread aborted: runtime error: ...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:387: attempt to index upvalue 'lua_url' (a boolean value)stack traceback:coroutine 0:...stTool/test/Openresty/authserver_lua/lua/auth-server.lua: in function 'process_msg'...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:423: in function <...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:2>, client: 10.2.5.51, server: , request: "POST /webservice/c928/%E4%B8%8A%E8%99%9E%E9%9C%87%E8%BF%9C&1468030819562&e118f0d7aca5a0de1abadb94866173a4& HTTP/1.1", host: "10.2.5.51:9902"2016/07/09 10:24:24 [notice] 32715#0: signal 15 (SIGTERM) received, exiting

说明: 很多时候程序调试日志会包含丰富内容,为一个事件打印出很多行内容,可通过在输入中通过codec的multiline预多行处理,由于Logstash默认自带非常多的正则,可通过patterns_dir以数组的形式加载自带的或自定义的正则目录,它会自动扫描并加载目录下的正则文件,pattern指定正则表达式,negate和what配合使用表示当不匹配pattern时,此行属于前行,以此来累计直到匹配pattern的行结束作为一行内容.

扩展: 应用日志常常会用到Log4j,对于此类型日志虽然可通过codec=>multiline实现,但其实Logstash还提供了另一种input=>log4j(https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html),可直接处理TCP端口接收的数据.


插件名称: (https://www.elastic.co/guide/en/logstash/current/plugins-codecs-netflow.html)

input {udp {port => 9995codec => netflow {definitions => "/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-codec-netflow-3.1.2/lib/logstash/codecs/netflow/netflow.yaml"versions => [5]}    }}output {stdout { codec => rubydebug }}

说明: NetFlow是Cisco创造的数据交换格式,常用于收集路由器等设备的NetFlow网络流量数据以便对数据进一步分析,Logstash codec=>netflow需要指定definitions默认包含定义的标准netflow字段文件,versions目前支持5/9版.



本文出自 “满满李 - 运维开发之路” 博客,请务必保留此出处http://xmdevops.blog.51cto.com/11144840/1884064


推荐阅读
  • 掌握PHP编程必备知识与技巧——全面教程在当今的PHP开发中,了解并运用最新的技术和最佳实践至关重要。本教程将详细介绍PHP编程的核心知识与实用技巧。首先,确保你正在使用PHP 5.3或更高版本,最好是最新版本,以充分利用其性能优化和新特性。此外,我们还将探讨代码结构、安全性和性能优化等方面的内容,帮助你成为一名更高效的PHP开发者。 ... [详细]
  • 单元测试:使用mocha和should.js搭建nodejs的单元测试
    2019独角兽企业重金招聘Python工程师标准BDD测试利器:mochashould.js众所周知对于任何一个项目来说,做好单元测试都是必不可少 ... [详细]
  • Python 3 Scrapy 框架执行流程详解
    本文详细介绍了如何在 Python 3 环境下安装和使用 Scrapy 框架,包括常用命令和执行流程。Scrapy 是一个强大的 Web 抓取框架,适用于数据挖掘、监控和自动化测试等多种场景。 ... [详细]
  • 在对WordPress Duplicator插件0.4.4版本的安全评估中,发现其存在跨站脚本(XSS)攻击漏洞。此漏洞可能被利用进行恶意操作,建议用户及时更新至最新版本以确保系统安全。测试方法仅限于安全研究和教学目的,使用时需自行承担风险。漏洞编号:HTB23162。 ... [详细]
  • 在安装 iOS 开发所需的 CocoaPods 时,用户可能会遇到多种问题。其中一个常见问题是,在执行 `pod setup` 命令后,系统无法连接到 GitHub 以更新 CocoaPods/Specs 仓库。这可能是由于网络连接不稳定、GitHub 服务器暂时不可用或本地配置错误等原因导致。为解决此问题,建议检查网络连接、确保 GitHub API 限制未被触发,并验证本地配置文件是否正确。 ... [详细]
  • 技术日志:使用 Ruby 爬虫抓取拉勾网职位数据并生成词云分析报告
    技术日志:使用 Ruby 爬虫抓取拉勾网职位数据并生成词云分析报告 ... [详细]
  • 如何精通编程语言:全面指南与实用技巧
    如何精通编程语言:全面指南与实用技巧 ... [详细]
  • 本文深入探讨了使用Puppet进行软件包分发与管理的方法。首先介绍了fpm这一跨平台的软件包制作工具,其简便的操作流程使得软件包的创建变得轻松快捷。fpm的项目地址为:https://github.com/jordansissel/fpm。通过结合Puppet和fpm,可以实现高效、可靠的软件包管理和部署。 ... [详细]
  • Python与R语言在功能和应用场景上各有优势。尽管R语言在统计分析和数据可视化方面具有更强的专业性,但Python作为一种通用编程语言,适用于更广泛的领域,包括Web开发、自动化脚本和机器学习等。对于初学者而言,Python的学习曲线更为平缓,上手更加容易。此外,Python拥有庞大的社区支持和丰富的第三方库,使其在实际应用中更具灵活性和扩展性。 ... [详细]
  • Python作为当今IT领域中最受欢迎且高效的语言之一,其框架能够显著加速Web应用程序的开发过程。本文推荐并对比了十大顶级Python Web开发框架,其中CubicWeb以其卓越的代码重用性和模块化设计脱颖而出,为开发者提供了强大的支持。 ... [详细]
  • 当前,众多初创企业对全栈工程师的需求日益增长,但市场中却存在大量所谓的“伪全栈工程师”,尤其是那些仅掌握了Node.js技能的前端开发人员。本文旨在深入探讨全栈工程师在现代技术生态中的真实角色与价值,澄清对这一角色的误解,并强调真正的全栈工程师应具备全面的技术栈和综合解决问题的能力。 ... [详细]
  • 深入解析OSI七层架构与TCP/IP协议体系
    本文详细探讨了OSI七层模型(Open System Interconnection,开放系统互连)及其与TCP/IP协议体系的关系。OSI模型将网络通信过程划分为七个层次,每个层次负责不同的功能,从物理层到应用层逐步实现数据传输和处理。通过对比分析,本文揭示了OSI模型与TCP/IP协议在结构和功能上的异同,为理解现代网络通信提供了全面的视角。 ... [详细]
  • 在Conda环境中高效配置并安装PyTorch和TensorFlow GPU版的方法如下:首先,创建一个新的Conda环境以避免与基础环境发生冲突,例如使用 `conda create -n pytorch_gpu python=3.7` 命令。接着,激活该环境,确保所有依赖项都正确安装。此外,建议在安装过程中指定CUDA版本,以确保与GPU兼容性。通过这些步骤,可以确保PyTorch和TensorFlow GPU版的顺利安装和运行。 ... [详细]
  • 利用树莓派畅享落网电台音乐体验
    最近重新拾起了闲置已久的树莓派,这台小巧的开发板已经沉寂了半年多。上个月闲暇时间较多,我决定将其重新启用。恰逢落网电台进行了改版,回忆起之前在树莓派论坛上看到有人用它来播放豆瓣音乐,便萌生了同样的想法。通过一番调试,终于实现了在树莓派上流畅播放落网电台音乐的功能,带来了全新的音乐享受体验。 ... [详细]
  • Node.js 配置文件管理方法详解与最佳实践
    本文详细介绍了 Node.js 中配置文件管理的方法与最佳实践,涵盖常见的配置文件格式及其优缺点,并提供了多种实用技巧和示例代码,帮助开发者高效地管理和维护项目配置,具有较高的参考价值。 ... [详细]
author-avatar
呐街角-伤_774
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有