热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

开发笔记:Logstash安装和使用

本文由编程笔记#小编为大家整理,主要介绍了Logstash安装和使用相关的知识,希望对你有一定的参考价值。下载地址https://artifacts.elast
本文由编程笔记#小编为大家整理,主要介绍了Logstash 安装和使用相关的知识,希望对你有一定的参考价值。


下载地址

https://artifacts.elastic.co/downloads/logstash/logstash-5.6.8.zip

下载后解压,测试


#将键盘内容输出到控制台
logstash -e input { stdin { } } output { stdout {}}

 

从文件中读取配置,然后连接mysql然后输出到es

新建 mysqletc 文件夹

技术分享图片

 


input{
jdbc {
jdbc_driver_library
=> "D:downloadlogstash-5.6.8mysqletcmysql-connector-java-5.1.47.jar"
jdbc_driver_class
=> "com.mysql.jdbc.Driver"
jdbc_connection_string
=> "jdbc:mysql://127.0.0.1:3306/tensquare_article?useUnicode=true&characterEncoding=UTF8"
jdbc_user
=> "root"
jdbc_password
=> "1234"
jdbc_paging_enabled
=> "true"
jdbc_page_size
=> "50"
jdbc_default_timezone
=>"Asia/Shanghai"
#都为*每分钟都执行
schedule => "* * * * *"
statement
=> "SELECT id,title,content,state FROM tb_article"
use_column_value
=> true
tracking_column
=> "updatetime"
}
}
output{
elasticsearch {
hosts
=> "127.0.0.1:9200"
index
=> "tensquare"
document_id
=> "%{id}"
document_type
=> "article"
}
stdout {
#以json格式输出
codec => json_lines
}
}

 测试


logstash -f ../mysqletc/mysql.conf

 


推荐阅读
  • Java连接MySQL数据库的方法及测试示例
    本文详细介绍了如何安装MySQL数据库,并通过Java编程语言实现与MySQL数据库的连接,包括环境搭建、数据库创建以及简单的查询操作。 ... [详细]
  • 本文探讨了如何使用Scrapy框架构建高效的数据采集系统,以及如何通过异步处理技术提升数据存储的效率。同时,文章还介绍了针对不同网站采用的不同采集策略。 ... [详细]
  • 本文详细介绍如何在SSM(Spring + Spring MVC + MyBatis)框架中实现分页功能。包括分页的基本概念、数据准备、前端分页栏的设计与实现、后端分页逻辑的编写以及最终的测试步骤。 ... [详细]
  • 本文介绍了如何使用Java编程语言实现凯撒密码的加密与解密功能。凯撒密码是一种替换式密码,通过将字母表中的每个字母向前或向后移动固定数量的位置来实现加密。 ... [详细]
  • 使用 ModelAttribute 实现页面数据自动填充
    本文介绍了如何利用 Spring MVC 中的 ModelAttribute 注解,在页面跳转后自动填充表单数据。主要探讨了两种实现方法及其背后的原理。 ... [详细]
  • 本文由公众号【数智物语】(ID: decision_engine)发布,关注获取更多干货。文章探讨了从数据收集到清洗、建模及可视化的全过程,介绍了41款实用工具,旨在帮助数据科学家和分析师提升工作效率。 ... [详细]
  • Hadoop MapReduce 实战案例:手机流量使用统计分析
    本文通过一个具体的Hadoop MapReduce案例,详细介绍了如何利用MapReduce框架来统计和分析手机用户的流量使用情况,包括上行和下行流量的计算以及总流量的汇总。 ... [详细]
  • 在使用mybatis进行mapper.xml测试的时候发生必须为元素类型“mapper”声明属性“namespace”的错误项目目录结构UserMapper和UserMappe ... [详细]
  • 【MySQL】frm文件解析
    官网说明:http:dev.mysql.comdocinternalsenfrm-file-format.htmlfrm是MySQL表结构定义文件,通常frm文件是不会损坏的,但是如果 ... [详细]
  • 本文回顾了作者在求职阿里和腾讯实习生过程中,从最初的迷茫到最后成功获得Offer的心路历程。文中不仅分享了个人的面试经历,还提供了宝贵的面试准备建议和技巧。 ... [详细]
  • T15483.【清华集训2017模拟11.26】简单路径T25484.【清华集训2017模拟11.26】快乐树T35485.【清华集训2017模拟11.26】字符串T1结论题,结论很 ... [详细]
  • 题目要求维护一个数列,并支持两种操作:一是查询操作,语法为QL,用于查询数列末尾L个数中的最大值;二是更新操作,用于修改数列中的某个元素。本文通过ST表(Sparse Table)优化查询效率,确保在O(1)时间内完成查询,同时保持较低的预处理时间复杂度。 ... [详细]
  • 本文介绍了一种在 Android 开发中动态修改 strings.xml 文件中字符串值的有效方法。通过使用占位符,开发者可以在运行时根据需要填充具体的值,从而提高应用的灵活性和可维护性。 ... [详细]
  • 个人博客:打开链接依赖倒置原则定义依赖倒置原则(DependenceInversionPrinciple,DIP)定义如下:Highlevelmo ... [详细]
  • 使用Java计算两个日期之间的月份数
    本文详细介绍了利用Java编程语言计算两个指定日期之间月份数的方法。文章通过实例代码讲解了如何使用Joda-Time库来简化日期处理过程,旨在为开发者提供一个高效且易于理解的解决方案。 ... [详细]
author-avatar
我以为我疯叻_219
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有