KafkaConnectLogstash

如何通过Apache Kafka与Logstash连接？如何将它从Kafka中取出并进入类似Elasticsearch的问题不可避免地会出现.有没有人有tuto这样做？

谢谢

Logstash有一个kafka的输入插件.首先,你应该熟悉apache kafka和他的生产者/消费者范例:https://kafka.apache.org/.然后开始使用Logstash:https://www.elastic.co/products/logstash .完成所有这些后,您将能够使用kafka输入插件进行logstash:https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html .最后一步是构建一个logstash管道,将数据插入目标,如Elasticsearch.这个简单的例子可以帮助您实现目标:

logstash.conf

input {  
    kafka {
        bootstrap_servers => "localhost:9092"
        topics => ["example-topic"]
    }
}

output {  
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "example-index"
    }
}

这里我们简单地从特定主题的kafka队列中获取数据.然后我们将数据存储到elasticsearch索引中.希望有所帮助!