Flume框架应用

一、Flume概述

        Flume是Cloudera提供的一个高可用的&＃xff0c;高可靠的&＃xff0c;分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构&＃xff0c;灵活简单。

高可用(HA)

flume框架&＃xff08;故障转移机制&＃xff09;

高可靠

数据采集的可靠性

分布式

分布式集群

搭建流式架构

二、数据采集

Flume

Logstash

三、Flume的作用

最主要的作用&＃xff1a;实时读取服务器本地磁盘的数据&＃xff0c;将数据写入到HDFS

四、Flume的优点

        可以和任意存储进程集成。支持不同的采集源支持多类型的目标源输入的的数据速率大于写入目的存储的速率&＃xff0c;flume会进行缓冲&＃xff0c;减小hdfs的压力。flume中的事务基于channel&＃xff0c;使用了两个事务模型&＃xff08;sender &＃43; receiver&＃xff09;&＃xff0c;确保消息被可靠发送。

        Flume使用两个独立的事务分别负责从soucrce到channel&＃xff0c;以及从channel到sink的事件传递。一旦事务中所有的数据全部成功提交到channel&＃xff0c;那么source才认为该数据读取完成。同理&＃xff0c;只有成功被sink写出去的数据&＃xff0c;才会从channel中移除。

五、Flume的组成

1、Flume组成架构

2、Agent

a、简介 Agent是一个JVM进程&＃xff0c;它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成&＃xff0c;Source、Channel、Sink。

b、Source Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据&＃xff0c;包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。

c、Channel Channel是位于Source和Sink之间的缓冲区。因此&＃xff0c;Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的&＃xff0c;可以同时处理几个Source的写入操作和几个Sink的读取操作。Flume自带两种Channel&＃xff1a;Memory Channel和File Channel。Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失&＃xff0c;那么Memory Channel就不应该使用&＃xff0c;因为程序死亡、机器宕机或者重启都会导致数据丢失。File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

d、Sink Sink不断地轮询Channel中的事件且批量地移除它们&＃xff0c;并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。Sink是完全事务性的。在从Channel批量删除数据之前&＃xff0c;每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent&＃xff0c;Sink就利用Channel提交事务。事务一旦被提交&＃xff0c;该Channel从自己的内部缓冲区删除事件。Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。

e、Event 传输单元&＃xff0c;Flume数据传输的基本单元&＃xff0c;以事件的形式将数据从源头送至目的地。 Event由可选的header和载有数据的一个byte array 构成。Header是容纳了key-value字符串对的HashMap。

六、Flume拓扑结构

1、串型连接

        这种模式是将多个flume给顺序连接起来了&＃xff0c;从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量&＃xff0c; flume数量过多不仅会影响传输速率&＃xff0c;而且一旦传输过程中某个节点flume宕机&＃xff0c;会影响整个传输系统。

2、单source&＃xff0c;多channel、sink Flume支持将事件流向一个或者多个目的地。

        这种模式将数据源复制到多个channel中&＃xff0c;每个channel都有相同的数据&＃xff0c;sink可以选择传送的不同的目的地。

3、Flume负载均衡
        Flume支持使用将多个sink逻辑上分到一个sink组&＃xff0c;flume将数据发送到不同的sink&＃xff0c;主要解决

负载均衡和故障转移问题。

4、Flume Agent聚合

        这种模式是我们最常见的&＃xff0c;也非常实用&＃xff0c;日常web应用通常分布在上百个服务器&＃xff0c;大者甚至上千个、上万个服务器。产生的日志&＃xff0c;处理起来也非常麻烦。用flume的这种组合方式能很好的解决这一问题&＃xff0c;每台服务器部署一个flume采集日志&＃xff0c;传送到一个集中收集日志的flume&＃xff0c;再由此flume上传到hdfs、hive、hbase、jms等&＃xff0c;进行日志分析。

七、Flume安装

安装部署

&＃xff08;1&＃xff09;将apache-flume-1.7.0-bin.tar.gz上传到linux的/home/hadoop/bigdatasoftware目录下

&＃xff08;2&＃xff09;解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下

&＃xff08;3&＃xff09;tar -zxf apache-flume-1.7.0-bin.tar.gz -C /home/hadoop/bigdatasoftware修改apache-flume-1.7.0-bin的名称为flume

&＃xff08;4&＃xff09;将flume/conf下的flume-env.sh.template文件修改为flumeenv.sh&＃xff0c;并配置flume-env.sh文件

&＃xff08;5&＃xff09;编辑flume-env.sh文件

八、企业开发案例

(一&＃xff09;监控端口数据官方案例

1、需求

首先启动Flume任务&＃xff0c;监控本机44444端口&＃xff0c;服务端然后通过netcat工具向本机44444端口发送消息&＃xff0c;客户端最后Flume将监听的数据实时显示在控制台

2、分析

安装telent

注意centos6.5软件源失效问题

vim /etc/yum.repos.d/CentOS-Base.repo

[base]name&＃61;CentOS-$releaseverfailovermethod&＃61;prioritybaseurl&＃61;https://vault.centos.org/6.5/os/x86_64/gpgcheck&＃61;0

3、清除及更新软件源缓存

yum clean all && yum makecache

a、查看本机是否安装telnet#rpm -qa | grep telnet如果什么都不显示。说明你没有安装telnet

b、开始安装yum install xinetdyum install telnetyum install telnet-server

c、装好telnet服务之后&＃xff0c;默认是不开启服务的&＃xff0c;下面我们需要修改文件来开启服务。vim /etc/xinetd.d/telnet 修改 disable &＃61; yes 为 disable &＃61; no

4、创建Flume Agent配置文件flume-netcat-logger.conf

# Name the components on this agent
a1.sources &＃61; r1
a1.sinks &＃61; k1
a1.channels &＃61; c1
# Describe/configure the source
a1.sources.r1.type &＃61; netcat
a1.sources.r1.bind &＃61; localhost
a1.sources.r1.port &＃61; 44444
# Describe the sink
a1.sinks.k1.type &＃61; logger
# Use a channel which buffers events in memory
a1.channels.c1.type &＃61; memory
a1.channels.c1.capacity &＃61; 1000
a1.channels.c1.transactionCapacity &＃61; 100
# Bind the source and sink to the channel
a1.sources.r1.channels &＃61; c1
a1.sinks.k1.channel &＃61; c1

启动flume

写法一&＃xff1a;

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger&＃61;INFO,console

写法二&＃xff1a;

lume-ng agent -c conf/ -n a1 –f job/flume-netcatlogger.conf -Dflume.root.logger&＃61;INFO,console

        参数说明--conf conf/ &＃xff1a;表示配置文件存储

录--name a1 &＃xff1a;表示给agent起名为a1--conf-file job/flume-netcat.conf &＃xff1a;flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。 -Dflume.root.logger&＃61;&＃61;INFO,console &＃xff1a;-D表示flume运行时动态修改flume.root.logger参数属性值&＃xff0c;并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

使用netcat工具向本机的44444端口发送内容

nc localhost 44444

在Flume监听页面观察接收数据情况

注意异常问题

修改flume的文件夹名称后&＃xff0c;启动flume可能会失败&＃xff0c;错误信息如下&＃xff1a;Error: Could not find or load main class org.apache.flume.node.Application
这个是因为环境变量的问题。
export看一下是不是有个FLUME_HOME的环境变量指向原来的文件夹&＃xff0c;
如果是的话&＃xff1a;unset FLUME_HOME 就行了

2、实时读取目录文件到HDFS案例

案例需求&＃xff1a;

使用Flume监听整个目录的文件

需求分析

创建配置文件flume-dir-hdfs.conf

a3.sources &＃61; r3
a3.sinks &＃61; k3
a3.channels &＃61; c3
# Describe/configure the source
a3.sources.r3.type &＃61; spooldir
a3.sources.r3.spoolDir &＃61; /home/hadoop/bigdatasoftware/flume/upload
a3.sources.r3.fileSuffix &＃61; .COMPLETEDa3.sources.r3.fileHeader &＃61; true
#忽略所有以.tmp结尾的文件&＃xff0c;不上传
a3.sources.r3.ignorePattern &＃61; ([^ ]*\.tmp)# Describe the sink
a3.sinks.k3.type &＃61; hdfs
a3.sinks.k3.hdfs.path &＃61; hdfs://192.168.137.128:9000/flume/upload/%Y%m%d/%H#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix &＃61; upload-#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round &＃61; true#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue &＃61; 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit &＃61; hour#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp &＃61; true#积攒多少个Event才flush到HDFS一次
a3.sinks.k3.hdfs.batchSize &＃61; 100#设置文件类型&＃xff0c;可支持压缩
a3.sinks.k3.hdfs.fileType &＃61; DataStream#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval &＃61; 60#设置每个文件的滚动大小大概是128M
a3.sinks.k3.hdfs.rollSize &＃61; 134217700#文件的滚动与Event数量无关
a3.sinks.k3.hdfs.rollCount &＃61; 0# Use a channel which buffers events in memory
a3.channels.c3.type &＃61; memory
a3.channels.c3.capacity &＃61; 1000
a3.channels.c3.transactionCapacity &＃61; 100# Bind the source and sink to the channel
a3.sources.r3.channels &＃61; c3
a3.sinks.k3.channel &＃61; c3

启动监控文件夹命令

bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf

向upload文件夹中添加文件

在/home/hadoop/bigdatasoftware/flume目录下创建upload文件夹

向upload文件夹中添加文件

3、实时采集文件到hdfs

格式化hadoop的namenode

采集nginx的数据

hdfs namenode -format

创建及配置flume-file-hdfs.conf文件

# Name the components on this agent
a2.sources &＃61; r2
a2.sinks &＃61; k2
a2.channels &＃61; c2
# Describe/configure the source
a2.sources.r2.type &＃61; exec
a2.sources.r2.command &＃61; tail -FF/home/hadoop/bigdatasoftware/nginx/logs/access.log
a2.sources.r2.shell &＃61; /bin/bash -c
# Describe the sink
a2.sinks.k2.type &＃61; hdfs
a2.sinks.k2.hdfs.path &＃61; hdfs://192.168.137.128:9000/flume/%Y%m%d/%H#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix &＃61; logs-#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round &＃61; true#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue &＃61; 1#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit &＃61; hour#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp &＃61; true#积攒多少个Event才flush到HDFS一次
a2.sinks.k2.hdfs.batchSize &＃61; 1000#设置文件类型&＃xff0c;可支持压缩
a2.sinks.k2.hdfs.fileType &＃61; DataStream#多久生成一个新的文件启动flume指令
a2.sinks.k2.hdfs.rollInterval &＃61; 60#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize &＃61; 134217700#文件的滚动与Event数量无关
a2.sinks.k2.hdfs.rollCount &＃61; 0# Use a channel which buffers events in memory
a2.channels.c2.type &＃61; memory
a2.channels.c2.capacity &＃61; 1000
a2.channels.c2.transactionCapacity &＃61; 100# Bind the source and sink to the channel
a2.sources.r2.channels &＃61; c2
a2.sinks.k2.channel &＃61; c2

启动flume指令

bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf