filebeat收集容器日志,flume和kafka区别

个人资料

flume是一种管道流方法，提供许多缺省实现，允许用户通过参数进行部署和扩展API。 它是hadoop体系结构组件，主要特点是在丰富的代理收集器接口和基础上集成了HDFS写入功能。 除此之外，Flume对我们来说不是什么新技术。 例如，代理数据收集功能的本质是通过代理接口捕获请求数据并将请求数据同步到数据存储服务。 业务系统开发基于尽可能使用组件而不直接使用服务的原则，但实际上这种数据收集功能对我们没有很大的吸引力。 为了在业务初期减少开发量，缩短研究开发周期，可以将flume用作主要的日志收集器。

Kafka是一个可持续的分布式消息队列，Linked提供开源、存储和推送和推送数据访问功能。

在flume和kafka之间进行比较可以概括如下： flume和kafaka是日志采集系统，flume善于日志采集，适合多生产者场景。 kafaka消息队列很好，适合多个消费者场景。

总结

可以说flume和Kafaka各有优点。 同样作为日志系统，flume日志采集做得很好，适合多生产者场景，Kafaka消息队列做得很好，适合多个消费者场景。 但是，是个人的理由吧。 使用hadoop系列组件(如HDFS和Hbase )进行数据存储存在本能阻力，因此这里是流Kafaka Mysql日志收集模式、流日志收集、kafa ka数据传输和MySQL 其他用法欢迎大家讨论。 如果有机会探讨Flume的体系结构模式，这是我们有很多值得学习的地方。