Flume之介绍核心组件可靠性恢复性

一&＃xff1a;介绍

Flume 是 Cloudera 提供的日志收集系统&＃xff0c;具有分布式、高可靠、高可用性等特点&＃xff0c;对海量日志采集、聚合和传输&＃xff0c;Flume 支持在日志系统中定制各类数据发送方&＃xff0c;同时&＃xff0c;Flume 提供对数据进行简单处理&＃xff0c;并写到各种数据接受方的能力。
Flume 使用 java 编写&＃xff0c;其需要运行在 Java1.6 或更高版本之上。
官方网站&＃xff1a;http://flume.apache.org/
用户文档&＃xff1a;http://flume.apache.org/FlumeUserGuide.html
开发文档&＃xff1a;http://flume.apache.org/FlumeDeveloperGuide.html

二&＃xff1a;架构数据流

Flume 的核心是把数据从数据源收集过来&＃xff0c;再送到目的地。为了保证输送一定成功&＃xff0c;在送到目的地之前&＃xff0c;会先缓存数据&＃xff0c;待数据真正到达目的地后&＃xff0c;删除自己缓存的数据。
Flume 传输的数据的基本单位是 Event&＃xff0c;如果是文本文件&＃xff0c;通常是一行记录&＃xff0c;这也是事务的基本单位。Event 从 Source&＃xff0c;流向Channel&＃xff0c;再到 Sink&＃xff0c;本身为一个 byte 数组&＃xff0c;并可携带 headers 信息。Event 代表着一个数据流的最小完整单元&＃xff0c;从外部数据源来&＃xff0c;向
外部的目的地去。Flume 运行的核心是 Agent。它是一个完整的数据收集工具&＃xff0c;含有三个核心组件&＃xff0c;分别是 source、channel、sink。通过这些组件&＃xff0c;Event 可以从一个地方流向另一个地方

source 可以接收外部源发送过来的数据。不同的 source&＃xff0c;可以接受不同的数据格式。比如有目录池(spooling directory)数据源&＃xff0c;
可以监控指定文件夹中的新文件变化&＃xff0c;如果目录中有文件产生&＃xff0c;就会立刻读取其内容。
channel 是一个存储地&＃xff0c;接收 source 的输出&＃xff0c;直到有 sink 消费掉 channel 中的数据。channel 中的数据直到进入到下一个
channel 中或者进入终端才会被删除。当 sink 写入失败后&＃xff0c;可以自动重启&＃xff0c;不会造成数据丢失&＃xff0c;因此很可靠。sink 会消费 channel 中的数据&＃xff0c;然后送给外部源或者其他
source。如数据可以写入到 HDFS 或者 HBase 中。flume 允许多个 agent 连在一起&＃xff0c;形成前后相连的多级跳。

三&＃xff1a;核心组件

source
Client 端操作消费数据的来源&＃xff0c;Flume 支持 Avro&＃xff0c;log4j&＃xff0c;syslog和 http post(body 为 json 格式)。可以让应用程序同已有的 Source直接打交道&＃xff0c;如 AvroSource&＃xff0c;SyslogTcpSource。也可以写一个Source&＃xff0c;以 IPC(进程间通信协议) 或 RPC(远程进程间通信协议) 的方 式 接 入 自 己 的 应 用 &＃xff0c; Avro 和 Thrift 都 可 以 ( 分 别 有NettyAvroRpcClient 和 ThriftRpcClient 实现了 RpcClient 接口)&＃xff0c;其中 Avro 是默认的 RPC 协议。具体代码级别的 Client 端数
据接入&＃xff0c;可以参考官方手册。对现有程序改动最小的使用方式是使用是直接读取程序原来记录的日志文件&＃xff0c;基本可以实现无缝接入&＃xff0c;不需要对现有程序进行任何改动。 对于直接读取文件 Source,有两种方式&＃xff1a;
ExecSource: 以运行 Linux 命令的方式&＃xff0c;持续的输出最新的数据&＃xff0c;如 tail -F 文件名 指令&＃xff0c;在这种方式下&＃xff0c;取的文件名必须是指定的。 ExecSource 可以实现对日志的实时收集&＃xff0c;但是存在 Flume 不运行或者指令执行出错时&＃xff0c;将无法收集到日志数据&＃xff0c;无法保证日志数
据的完整性。
SpoolSource: 监测配置的目录下新增的文件&＃xff0c;并将文件中的数据读取出来。需要注意两点&＃xff1a;拷贝到 spool 目录下的文件不可以再打开编辑&＃xff1b;spool 目录下不可包含相应的子目录。SpoolSource 虽然无法实现实时的收集数据&＃xff0c;但是可以使用以分钟的方式分割文件&＃xff0c;趋近于实时。如果应用无法实现以分钟切割日志文件的话&＃xff0c;可以两种收集方式结合使用。 在实际使用的过程中&＃xff0c;可以结合 log4j 使用&＃xff0c;使用log4j 的时候&＃xff0c;将 log4j 的文件分割机制设为1分钟一次&＃xff0c;将文件拷贝到 spool 的监控目录。log4j 有一个 TimeRolling 的插件&＃xff0c;可以
把 log4j 分割文件到 spool 目录。基本实现了实时的监控。Flume 在传完文件之后&＃xff0c;将会修改文件的后缀&＃xff0c;变为 .COMPLETED&＃xff08;后缀也可以在配置文件中灵活指定&＃xff09;。
Channel
当前有几个 channel 可供选择&＃xff0c;分别是 Memory Channel, JDBCChannel , File Channel&＃xff0c;Psuedo Transaction Channel。比较常见的是前三种 channel。
MemoryChannel 可以实现高速的吞吐&＃xff0c;但是无法保证数据的完整性。
MemoryRecoverChannel 在 官 方 文 档 的 建 议 上 已 经 建 义 使 用FileChannel 来替换。
FileChannel 保 证 数 据 的 完 整 性 与 一 致 性 。 在 具 体 配 置FileChannel 时&＃xff0c;建议 FileChannel 设置的目录和程序日志文件保存的目录设成不同的磁盘&＃xff0c;以便提高效率。
File Channel 是一个持久化的隧道&＃xff08;channel&＃xff09;&＃xff0c;它持久化所有的事件&＃xff0c;并将其存储到磁盘中。因此&＃xff0c;即使 Java 虚拟机当掉&＃xff0c;或者操作系统崩溃或重启&＃xff0c;再或者事件没有在管道中成功地传递到下一个代理&＃xff08;agent&＃xff09;&＃xff0c;这一切都不会造成数据丢失。Memory Channel 是一个
不稳定的隧道&＃xff0c;其原因是由于它在内存中存储所有事件。如果 java进程死掉&＃xff0c;任何存储在内存的事件将会丢失。另外&＃xff0c;内存的空间收到RAM 大小的限制,而 File Channel 这方面是它的优势&＃xff0c;只要磁盘空间足够&＃xff0c;它就可以将所有事件数据存储到磁盘上。
sink
Sink 在设置存储数据时&＃xff0c;可以向文件系统、数据库、hadoop 存数据&＃xff0c;在日志数据较少时&＃xff0c;可以将数据存储在文件系中&＃xff0c;并且设定一定的时间间隔保存数据。在日志数据较多时&＃xff0c;可以将相应的日志数据存储到 Hadoop 中&＃xff0c;便于日后进行相应的数据分析.更多 sink 的内容可
以参考官方手册。

四&＃xff1a;可靠性

Flume 的核心是把数据从数据源收集过来&＃xff0c;再送到目的地。为了保证输送一定成功&＃xff0c;在送到目的地之前&＃xff0c;会先缓存数据&＃xff0c;待数据真正到达目的地后&＃xff0c;删除自己缓存的数据。
Flume 使用事务性的方式保证传送 Event 整个过程的可靠性。
Sink 必须在 Event 被存入 Channel 后&＃xff0c;或者&＃xff0c;已经被传达到下一站 agent 里&＃xff0c;又或者&＃xff0c;已经被存入外部数据目的地之后&＃xff0c;才能把 Event从 Channel 中 remove 掉。这样数据流里的 event 无论是在一个agent 里还是多个 agent 之间流转&＃xff0c;都能保证可靠&＃xff0c;因为以上的事务保证了 event 会被成功存储起来。而 Channel 的多种实现在可恢复性上有不同的保证。也保证了 event 不同程度的可靠性。比如
Flume 支持在本地保存一份文件 channel 作为备份&＃xff0c;而 memorychannel 将 event 存在内存 queue 里&＃xff0c;速度快&＃xff0c;但丢失的话无法恢复。

五&＃xff1a; 可恢复性

还是靠 Channel。推荐使用 FileChannel&＃xff0c;事件持久化在本地文件系统里(性能较差)