logstash7资源包的安装及使用

可以到es中文官方下载&＃xff1a;logstash-7.14.0-linux-x86_64.tar.gz

转&＃xff1a;https://blog.csdn.net/codepeter/article/details/108126725

Logstash Hello world
第一个示例Logstash将采用标准输入和标准输出作为input和output&＃xff0c;并且不指定filter
&＃xff08;1&＃xff09;下载Logstash并解压&＃xff08;需要预先安装JDK8&＃xff09;

tar xzvf logstash.5.2.2.tar.gz

&＃xff08;2&＃xff09;cd到Logstash的根目录&＃xff0c;并执行启动命令如下&＃xff1a;

cd logstash-5.2.2
bin/logstash -e &＃39;input { stdin { } } output { stdout {} }&＃39;

&＃xff08;3&＃xff09;此时Logstash已经启动成功&＃xff0c;-e表示在启动时直接指定pipeline配置&＃xff0c;当然也可以将该配置写入一个配置文件中&＃xff0c;然后通过指定配置文件来启动
&＃xff08;4&＃xff09;在控制台输入&＃xff1a;hello world&＃xff0c;可以看到如下输出&＃xff1a;

Logstash会自动为数据添加&＃64;version, host, &＃64;timestamp等字段

在这个示例中Logstash从标准输入中获得数据&＃xff0c;仅在数据中添加一些简单字段后将其输出到标准输出。

logstash连接kafka和es

    cd logstash-5.2.2
    mkdir conf
    vi conf/kafka-es.conf

 input{kafka {bootstrap_servers &＃61;> ["192.168.2.176:9092"]group_id &＃61;> "hhpleasant"   topics &＃61;> ["test1"]consumer_threads &＃61;> 5 decorate_events &＃61;> truecodec &＃61;> "json"auto_offset_reset &＃61;> "latest"
}}
filter {ruby {code &＃61;> "event.timestamp.time.localtime" //修正时间}
}
output{elasticsearch{action&＃61;> "index"index &＃61;> "%{[type]}"hosts &＃61;> "192.168.2.176:9200"}stdout{codec &＃61;> rubydebug}
}

标准输入可以&＃xff1a;
 

 input{stdin { } }
filter {ruby {code &＃61;> "event.timestamp.time.localtime" //修正时间}
}
output{elasticsearch{action&＃61;> "index"index &＃61;> "%{[type]}"hosts &＃61;> "192.168.2.176:9200"}stdout{codec &＃61;> rubydebug}
}

启动logstash
bin/logstash -f conf/kafka-es.conf