热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

elasticsearchlogstash自定义outputtemplate无效

大神们为什么我写的脚本自定义template回无效呢脚本如下:

大神们为什么我写的脚本 自定义template回无效呢 脚本如下:



input {

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
stdin {

}

jdbc {

    # mysql 数据库链接,sange为数据库名

    jdbc_connection_string => ""

     # 用户名和密码

    jdbc_user => ""

    jdbc_password => ""

    # 驱动

    jdbc_driver_library => "/some/config-dir/mysql-connector-java-5.1.36.jar"

    # 驱动类名

    jdbc_driver_class => "com.mysql.jdbc.Driver"

    jdbc_paging_enabled => "true"

    jdbc_page_size => "50000"

    # 执行的sql 文件路径+名称

    # statement_filepath => "/home/hadoop/logstash-5.2.1/etc/product.sql"

    statement => "SELECT * FROM (SELECT items.id, items.name, items.title, items.warehouseType, items.unitPriceDesc, attachments.filePath, DATE_FORMAT(FROM_UNIXTIME(items.updateTime), '%Y-%m-%d %H:%i:%s') AS update_time FROM items left join attachments on attachments.id = items.showImageId  WHERE items.delete = 0) AS temp WHERE temp.update_time >= :sql_last_value"

    # 设置监听间隔  各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新

    schedule => "* * * * *"

    # 索引类型

    type => "jdbc"

}

}



filter {

1
2
3
4
json {

    source => "message"

    remove_field => ["message"]

}

}
output {
if [type] == "jdbc" {

1
2
3
4
5
6
7
8
elasticsearch {

    hosts => ["es:9200"]

    index => "items"

    document_id => "%{id}"

    manage_template => false

    template_name => "items-test"

    template => "/some/config-dir/items-test.json"

}

}

1
2
3
  stdout {

    codec => json_lines

}

}

下面的是items-test.json文件内容
{
"template" : "items-*",
"settings" : {

1
"index.refresh_interval" : "15s"

},
"mappings" : {

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
"jdbc" : {

   "_all" : {"enabled" : true},

   "dynamic_templates" : [ {

     "string_fields" : {

       "match" : "*",

       "match_mapping_type" : "string",

       "mapping" : {

         "type" : "string", "index" : "not_analyzed", "omit_norms" : true,"doc_values": true,"ignore_unmapped" : true

       }

     }

   } ],

   "properties" : {

     "@version": { "type": "string", "index": "not_analyzed" },

     "@timestamp": { "type": "date", "index": "not_analyzed", "doc_values": true, "format": "dateOptionalTime" },

     "id": { "type": "long"},

     "name": { "type": "string", "analyzer":"ik_max_word", "search_analyzer":"ik_max_word", "include_in_all":"true"},

     "title": { "type": "string", "analyzer":"ik_max_word", "search_analyzer":"ik_max_word", "include_in_all":"true"},

     "warehouseType" : { "type" : "long" },

     "unitPriceDesc" : { "type" : "long" },

     "filePath" : { "type" : "long" }

   }

}

}
}


   



推荐阅读
  • Hadoop MapReduce 实战案例:手机流量使用统计分析
    本文通过一个具体的Hadoop MapReduce案例,详细介绍了如何利用MapReduce框架来统计和分析手机用户的流量使用情况,包括上行和下行流量的计算以及总流量的汇总。 ... [详细]
  • 本文探讨了如何使用Scrapy框架构建高效的数据采集系统,以及如何通过异步处理技术提升数据存储的效率。同时,文章还介绍了针对不同网站采用的不同采集策略。 ... [详细]
  • HDU 2537 键盘输入处理
    题目描述了一个名叫Pirates的男孩想要开发一款键盘输入软件,遇到了大小写字母判断的问题。本文提供了该问题的解决方案及实现方法。 ... [详细]
  • 本文详细介绍如何在SSM(Spring + Spring MVC + MyBatis)框架中实现分页功能。包括分页的基本概念、数据准备、前端分页栏的设计与实现、后端分页逻辑的编写以及最终的测试步骤。 ... [详细]
  • Exploring issues and solutions when defining multiple Faust agents programmatically. ... [详细]
  • Lua字符串1.字符串常见形式字符串或串(String)是由数字、字母、下划线组成的一串字符。Lua语言中字符串可以使用以下三种方式来表示:•单引号间的一串字符。 ... [详细]
  • 本文介绍了一种在 Android 开发中动态修改 strings.xml 文件中字符串值的有效方法。通过使用占位符,开发者可以在运行时根据需要填充具体的值,从而提高应用的灵活性和可维护性。 ... [详细]
  • 本文详细介绍了如何在PHP中使用Memcached进行数据缓存,包括服务器连接、数据操作、高级功能等。 ... [详细]
  • 在使用 MySQL 6.0.x 及以上版本的 JDBC 驱动时,若未正确配置 `serverTimezone` 参数,可能会导致连接异常。本文探讨了这一问题的原因及解决方法。 ... [详细]
  • 在使用mybatis进行mapper.xml测试的时候发生必须为元素类型“mapper”声明属性“namespace”的错误项目目录结构UserMapper和UserMappe ... [详细]
  • Java连接MySQL数据库的方法及测试示例
    本文详细介绍了如何安装MySQL数据库,并通过Java编程语言实现与MySQL数据库的连接,包括环境搭建、数据库创建以及简单的查询操作。 ... [详细]
  • egg实现登录鉴权(七):权限管理
    权限管理包含三部分:访问页面的权限,操作功能的权限和获取数据权限。页面权限:登录用户所属角色的可访问页面的权限功能权限:登录用户所属角色的可访问页面的操作权限数据权限:登录用户所属 ... [详细]
  • 题目概述:Sereja 拥有一个由 n 个整数组成的数组 a1, a2, ..., an。他计划执行 m 项操作,这些操作包括更新数组中的特定元素、增加数组中所有元素的值,以及查询数组中的特定元素。 ... [详细]
  • C/C++ 应用程序的安装与卸载解决方案
    本文介绍了如何使用Inno Setup来创建C/C++应用程序的安装程序,包括自动检测并安装所需的运行库,确保应用能够顺利安装和卸载。 ... [详细]
  • 【MySQL】frm文件解析
    官网说明:http:dev.mysql.comdocinternalsenfrm-file-format.htmlfrm是MySQL表结构定义文件,通常frm文件是不会损坏的,但是如果 ... [详细]
author-avatar
瓦尔登湖
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有