logstashrpm安装以及配置文件修改

1.下载相应的版本

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.3.rpm

2.执行安装命令

rpm -ivh logstash-6.2.3.rpm

3.配置文件修改

在/etc/logstash下面 修改内存以及日志文件地址

在/etc/logstash/conf.d里面添加自己的配置文件

例子&＃xff1a;

input {
    mongodb {
       uri &＃61;> "mongodb://IP:host/dbname"
        placeholder_db_dir &＃61;> "/home/mongodb/db/"#同步指针存储的地方
        placeholder_db_name &＃61;>"tablename"
        collection &＃61;> "message"
        type&＃61;>"yt_message"
        batch_size &＃61;> 10000#每次10000条
    }
}

input {
    mongodb {
        uri &＃61;> "mongodb://IP:host/dbname"
        placeholder_db_dir &＃61;> "/home/mongodb/db/"
        placeholder_db_name &＃61;>"tablename.db"
        collection &＃61;> "comment"
        type&＃61;>"yt_comment"
        batch_size &＃61;> 5000
    }
}

filter{
    if[type] &＃61;~ "yt_aspect"{
        if "," in [aspect]{
            mutate { 
                rename &＃61;> ["_id", "uid"]
                remove_field &＃61;> "log_entry"
                convert &＃61;> ["bid", "string"]
                split &＃61;> ["aspect",","]
                add_field &＃61;> {
                    "aspect1" &＃61;> "%{[aspect][0]}"
                }
                add_field &＃61;> {
                    "aspect2" &＃61;> "%{[aspect][1]}"
                }
            }    
        }else{
            mutate { 
                rename &＃61;> ["_id", "uid"]
                remove_field &＃61;> "log_entry"
                convert &＃61;> ["bid", "string"]
                add_field &＃61;> {
                    "aspect1" &＃61;> ""
                }
                add_field &＃61;> {
                    "aspect2" &＃61;> ""
                }
            }    
        }       
    }else{
        mutate { 
            rename &＃61;> ["_id", "uid"]
            remove_field &＃61;> "log_entry"
            convert &＃61;> ["bid", "string"]
        }
    }
    ruby{
        code &＃61;> "
            className&＃61;event.get(&＃39;type&＃39;)

            if className.include?&＃39;message&＃39;
                then
                    event.set(&＃39;flag&＃39;,{&＃39;name&＃39; &＃61;> event.get(&＃39;flag&＃39;)})
                end

            if className.include?&＃39;comment&＃39;
                then
                    event.set(&＃39;flag&＃39;,{&＃39;name&＃39; &＃61;> event.get(&＃39;flag&＃39;),&＃39;parent&＃39; &＃61;> event.get(&＃39;pid&＃39;)})
                end
             if className.include?&＃39;weibo&＃39;
                then
                    event.set(&＃39;flag&＃39;,{&＃39;name&＃39; &＃61;> event.get(&＃39;flag&＃39;),&＃39;parent&＃39; &＃61;> event.get(&＃39;pid&＃39;)})
                end

        "
    }
    #date {
    #    match &＃61;> ["cTime", "yyyy-MM-dd HH:mm:ss Z"]
    #    target &＃61;> "cTime"
    #}
    
}

output {
    file {
            path &＃61;> "/home/log/logstash/logstash%{&＃43;yyyy.MM.dd}.log"
        }
        stdout {
           codec &＃61;> json_lines
    }

    if[type] &＃61;&＃61; "yt_message"{
        elasticsearch {
            hosts &＃61;> ["ip:host"]
            index &＃61;> "%{projectId}"
            document_type &＃61;> "%{projectId}"
            document_id &＃61;> "%{unique}"
            routing &＃61;> "%{projectId}"
        }
    }

    if[type] &＃61;&＃61; "yt_comment"{
        elasticsearch {
            hosts &＃61;> ["IP:host"]
            index &＃61;> "%{projectId}"
            document_type &＃61;> "%{projectId}"
            manage_template&＃61;>true
            document_id &＃61;> "%{unique}"
            routing &＃61;> "%{projectId}"
        }
    }
  }