热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

ElasticStack日志监控:Logstash编码插件详解与生产环境应用实例分析

在ElasticStack日志监控系统中,Logstash编码插件自5.0版本起进行了重大改进。插件被独立拆分为gem包,每个插件可以单独进行更新和维护,无需依赖Logstash的整体升级。这不仅提高了系统的灵活性和可维护性,还简化了插件的管理和部署过程。本文将详细介绍这些编码插件的功能、配置方法,并通过实际生产环境中的应用案例,展示其在日志处理和监控中的高效性和可靠性。

新版插件:


说明: 从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin --help帮助信息../bin/logstash-plugin list其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下

扩展: 如果GitHub上面(https://github.com/logstash-plugins/)发布了扩展插件,可通过./bin/logstash-plugin install ,当然升级也很方便./bin/logstash-plugin update ,如果要安装更新本地已有的插件可通过./bin/logstash-plugin install/update 即可.

注意: 默认./bin/logstash-plugin install/update时是到https://rubygems.org/下载包,速度非常慢,所以强烈推荐手动从https://github.com/logstash-plugins/https://rubygems.org/下载下来更新


解码插件: https://www.elastic.co/guide/en/logstash/current/codec-plugins.html


说明: 编码插件可用于input/output区段中,可以改变事件的数据表示,之前版本只支持纯文本输入,现在可输入期处理不同类型的数据,数据流变为input | decode | filter | encode | output,codec的出现,使得更方便的与其它自定义数据格式的运维产品共存,支持如上列表中所有的插件

插件名称: json(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-json.html)


input {    file {
        path => ["/xm-workspace/xm-webs/xmcloud/logs/*.log"]
        type => "dss-pubserver"
codec => json
        start_position => "beginning"
    }
}
output{
    stdout{
        codec => rubydebug
    }
}

说明: 很多时候为了降低过滤器的CPU负载,会直接输入预定义的Json数据,这样可以省略掉filter/grok配置,对于web服务器apache/nginx的访问日志可以很好的工作,不过如果作为代理服务器运行时,访问日志中有些变量如$upstream_response_time可能不是数字而是"-",导致输入数据验证异常,可以加双引号,也可以通过input插件的stdin从终端读取sed替换后导入.


插件名称: multilline(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html)

input {    stdin {        codec => multiline {            patterns_dir => ["/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.0.2/patterns"]            pattern => "^%{YEAR}/%{MONTHNUM2}/%{MONTHDAY} %{TIME}"            negate => true            what => "previous"        }    }}output{    stdout{        codec => rubydebug    }}

生产案例:

2016/07/09 10:19:49 [notice] 32715#0: start worker process 327172016/07/09 10:20:19 [error] 32716#0: *1 lua entry thread aborted: runtime error: ...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:387: attempt to index upvalue 'lua_url' (a boolean value)stack traceback:coroutine 0:...stTool/test/Openresty/authserver_lua/lua/auth-server.lua: in function 'process_msg'...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:423: in function <...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:2>, client: 10.2.5.51, server: , request: "POST /webservice/c928/%E4%B8%8A%E8%99%9E%E9%9C%87%E8%BF%9C&1468030819562&e118f0d7aca5a0de1abadb94866173a4& HTTP/1.1", host: "10.2.5.51:9902"2016/07/09 10:24:24 [notice] 32715#0: signal 15 (SIGTERM) received, exiting

说明: 很多时候程序调试日志会包含丰富内容,为一个事件打印出很多行内容,可通过在输入中通过codec的multiline预多行处理,由于Logstash默认自带非常多的正则,可通过patterns_dir以数组的形式加载自带的或自定义的正则目录,它会自动扫描并加载目录下的正则文件,pattern指定正则表达式,negate和what配合使用表示当不匹配pattern时,此行属于前行,以此来累计直到匹配pattern的行结束作为一行内容.

扩展: 应用日志常常会用到Log4j,对于此类型日志虽然可通过codec=>multiline实现,但其实Logstash还提供了另一种input=>log4j(https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html),可直接处理TCP端口接收的数据.


插件名称: (https://www.elastic.co/guide/en/logstash/current/plugins-codecs-netflow.html)

input {udp {port => 9995codec => netflow {definitions => "/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-codec-netflow-3.1.2/lib/logstash/codecs/netflow/netflow.yaml"versions => [5]}    }}output {stdout { codec => rubydebug }}

说明: NetFlow是Cisco创造的数据交换格式,常用于收集路由器等设备的NetFlow网络流量数据以便对数据进一步分析,Logstash codec=>netflow需要指定definitions默认包含定义的标准netflow字段文件,versions目前支持5/9版.



本文出自 “满满李 - 运维开发之路” 博客,请务必保留此出处http://xmdevops.blog.51cto.com/11144840/1884064


推荐阅读
  • AppFog 是一个基于 CloudFoundry 的多语言 PaaS(平台即服务)提供商,允许用户在其平台上轻松构建和部署 Web 应用程序。本文将通过详细的图文步骤,指导读者如何在 AppFog 免费云平台上成功部署 WordPress,帮助用户快速搭建个人博客或网站。 ... [详细]
  • 深入解析Gradle中的Project核心组件
    在Gradle构建系统中,`Project` 是一个核心组件,扮演着至关重要的角色。通过使用 `./gradlew projects` 命令,可以清晰地列出当前项目结构中包含的所有子项目,这有助于开发者更好地理解和管理复杂的多模块项目。此外,`Project` 对象还提供了丰富的配置选项和生命周期管理功能,使得构建过程更加灵活高效。 ... [详细]
  • Web动态服务器Python基本实现
    Web动态服务器Python基本实现 ... [详细]
  • 理解浏览器历史记录(2)hashchange、pushState
    阅读目录1.hashchange2.pushState本文也是一篇基础文章。继上文之后,本打算去研究pushState,偶然在一些信息中发现了锚点变 ... [详细]
  • 实践指南:使用Express、Create React App与MongoDB搭建React开发环境
    本文详细介绍了如何利用Express、Create React App和MongoDB构建一个高效的React应用开发环境,旨在为开发者提供一套完整的解决方案,包括环境搭建、数据模拟及前后端交互。 ... [详细]
  • 深入浅出 webpack 系列(二):实现 PostCSS 代码的编译与优化
    在前一篇文章中,我们探讨了如何通过基础配置使 Webpack 完成 ES6 代码的编译。本文将深入讲解如何利用 Webpack 实现 PostCSS 代码的编译与优化,包括配置相关插件和加载器,以提升开发效率和代码质量。我们将详细介绍每个步骤,并提供实用示例,帮助读者更好地理解和应用这些技术。 ... [详细]
  • 本文深入探讨了如何利用Maven高效管理项目中的外部依赖库。通过介绍Maven的官方依赖搜索地址(),详细讲解了依赖库的添加、版本管理和冲突解决等关键操作。此外,还提供了实用的配置示例和最佳实践,帮助开发者优化项目构建流程,提高开发效率。 ... [详细]
  • 在开发过程中,我最初也依赖于功能全面但操作繁琐的集成开发环境(IDE),如Borland Delphi 和 Microsoft Visual Studio。然而,随着对高效开发的追求,我逐渐转向了更加轻量级和灵活的工具组合。通过 CLIfe,我构建了一个高度定制化的开发环境,不仅提高了代码编写效率,还简化了项目管理流程。这一配置结合了多种强大的命令行工具和插件,使我在日常开发中能够更加得心应手。 ... [详细]
  • Vue应用预渲染技术详解与实践 ... [详细]
  • 技术日志:Ansible的安装及模块管理详解 ... [详细]
  • SQLmap自动化注入工具命令详解(第28-29天 实战演练)
    SQL注入工具如SQLMap等在网络安全测试中广泛应用。SQLMap是一款开源的自动化SQL注入工具,支持12种不同的数据库,具体支持的数据库类型可在其插件目录中查看。作为当前最强大的注入工具之一,SQLMap在实际应用中具有极高的效率和准确性。 ... [详细]
  • 在Maven项目中高效集成JaCoCo代码覆盖率插件,以显著提高测试质量。首先,需在项目的`pom.xml`文件中添加JaCoCo和JUnit的依赖配置,确保测试框架和覆盖率工具的无缝结合。通过这种方式,开发者不仅能够执行单元测试,还能获取详细的代码覆盖率报告,从而优化测试策略和代码质量。 ... [详细]
  • 利用Jenkins与SonarQube集成实现高效代码质量检测与优化
    本文探讨了通过在 Jenkins 多分支流水线中集成 SonarQube,实现高效且自动化的代码质量检测与优化方法。该方案不仅提高了开发团队的代码审查效率,还确保了软件项目的持续高质量交付。 ... [详细]
  • Webpack与Babel的配置详解及优化策略深入探讨了这两个工具在现代前端开发中的应用。Babel作为一款强大的JavaScript编译器,能够将最新版的JavaScript代码转换为广泛兼容的版本,从而突破浏览器对ES规范的支持限制,确保开发者可以无缝使用最新的语言特性。本文不仅介绍了如何高效配置Webpack与Babel,还提供了多种优化策略,以提升构建性能和代码质量。 ... [详细]
  • 10款精选jQuery插件助力响应式网页设计布局优化
    响应式网页设计在当今的数字环境中至关重要。本文精选了10款优秀的jQuery插件,旨在帮助设计师和开发者优化网站布局,确保内容在不同设备上(如手机、平板电脑等)都能呈现最佳效果,提升用户体验。这些插件不仅功能强大,还能显著简化开发流程,提高工作效率。 ... [详细]
author-avatar
呐街角-伤_774
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有