热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

logstash输出到ElasticSearch服务端自定义配置模板,部分字段映射类型重复

软件版本logstash版本6.7.1elasticsearch版本6.6.0问题描述es服务端创建索引模板

软件版本

logstash版本6.7.1
elasticsearch版本6.6.0

问题描述


es服务端创建索引模板

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
PUT /_template/xgservice-seaslog

{

    "index_patterns":"xgservice-seaslog",

    "order":1,

    "settings":{

        "index.refresh_interval":"2s"

    },

    "mappings":{

        "doc":{

            "properties":{

                "date":{

                    "format":"yyyy-MM-dd HH:mm:ss",

                    "type":"date"

                },

                "process_id":{

                    "type":"integer"

                },

                "domain_url":{

                    "type":"keyword"

                },

                "method":{

                    "type":"keyword"

                },

                "level":{

                    "type":"keyword"

                },

                "client_ip":{

                    "type":"ip"

                },

                "request_id":{

                    "type":"keyword"

                },

                "request_uri":{

                    "type":"keyword"

                },

                "info":{

                    "type":"text",

                    "fields":{

                        "en":{

                            "analyzer":"english",

                            "type":"text"

                        },

                        "cn":{

                            "analyzer":"ik_smart",

                            "type":"text"

                        }

                    }

                }

            }

        }

    }

}


logstash输出到ElasticSearch后,查看mapping发现部分字段重复

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
{

  "xgservice-seaslog" : {

    "mappings" : {

      "doc" : {

        "properties" : {

          "client_ip" : {

            "type" : "ip"

          },

          "date" : {

            "type" : "date",

            "format" : "yyyy-MM-dd HH:mm:ss"

          },

          "domain_url" : {

            "type" : "keyword"

          },

          "info" : {

            "type" : "text",

            "fields" : {

              "cn" : {

                "type" : "text",

                "analyzer" : "ik_smart"

              },

              "en" : {

                "type" : "text",

                "analyzer" : "english"

              }

            }

          },

          "level" : {

            "type" : "keyword"

          },

          "method" : {

            "type" : "keyword"

          },

          "process_id" : {

            "type" : "integer"

          },

          "process_id " : {

            "type" : "text",

            "fields" : {

              "keyword" : {

                "type" : "keyword",

                "ignore_above" : 256

              }

            }

          },

          "request_id" : {

            "type" : "keyword"

          },

          "request_id " : {

            "type" : "text",

            "fields" : {

              "keyword" : {

                "type" : "keyword",

                "ignore_above" : 256

              }

            }

          },

          "request_uri" : {

            "type" : "keyword"

          }

        }

      }

    }

  }

}

如下图字段:

图片描述

process_id是数值类型,比如

1
3043

,而request_id是文本类型,比如

1
5ca386dcc4d48


推荐阅读
author-avatar
捕鱼达人2602917825
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有