Flume虞兮叹一（为什么要把kafka和flume集成）

为什么要集成Flume和Kafka

我们很多人在在使用Flume和kafka时&＃xff0c;都会问一句为什么要将Flume和Kafka集成&＃xff1f;

那首先就应该明白业务需求&＃xff0c;一般使用Flume&＃43;Kafka架构都是希望完成实时流式的日志处理&＃xff0c;后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术&＃xff0c;从而完成日志实时解析的目标。

• 1. 生产环境中&＃xff0c;往往是读取日志进行分析&＃xff0c;而这往往是多数据源的&＃xff0c;如果Kafka构建多个生产者使用文件流的方式向主题写入数据再供消费者消费的话&＃xff0c;无疑非常的不方便。
• 2. 如果Flume直接对接实时计算框架&＃xff0c;当数据采集速度大于数据处理速度&＃xff0c;很容易发生数据堆积或者数据丢失&＃xff0c;而kafka可以当做一个消息缓存队列&＃xff0c;从广义上理解&＃xff0c;把它当做一个数据库&＃xff0c;可以存放一段时间的数据。
• 3. Kafka属于中间件&＃xff0c;一个明显的优势就是使各层解耦&＃xff0c;使得出错时不会干扰其他组件。

因此数据从数据源到flume再到Kafka时&＃xff0c;数据一方面可以同步到HDFS做离线计算&＃xff0c;另一方面可以做实时计算&＃xff0c;可实现数据多分发。

还可以参考&＃xff1a;Flume和kafka区别