转载：21生产预警平台项目之记录一个flumeng的tailf参数所诱发的血案

21生产预警平台项目之记录一个flume-ng的tail -f参数所诱发的血案

原创&＃xff1a; 若泽数据流浪人 若泽大数据 今天

ref&＃xff1a;

https://mp.weixin.qq.com/s__biz&＃61;MzA5ODY0NzgxNA&＃61;&＃61;&mid&＃61;2247484387&idx&＃61;1&sn&＃61;b8e289ab7c11da18dec9c54a3ca55ad6&chksm&＃61;908f298aa7f8a09cf8cd881f7ecee4562a414a963fe0e4cf7ac5954dbad8f40a0d00c749556f&mpshare&＃61;1&scene&＃61;23&srcid&＃61;10099qaXOMOiylkY0mHiwfDu#rd

一.现象&＃xff1a;

flume收集-->flume聚合-->kafka-->spark streaming&＃43;spark sql-->influxdb-->grafana
1.所有进程都是 后台运行的;
2.运行进程&＃xff0c;当时整套流程都是ok的;
3.但是&＃xff0c;过一段时间&＃xff0c;发现grafana的图表没有数据展示了!!!

二.排查:
1.检查 spark streaming&＃43;spark sql的计算的log,发现一直打印“No cdh role logs in this time interval” ;
那么可以推断没有日志过来

2.检查kafka集群是否正常&＃xff1f;
通过kafka manager的web查看topic&＃xff0c;可以看到集群正常&＃xff0c;但是

Bytes in /sec 这一行都是0&＃xff0c;表明flume聚合节点 没有数据输出到kafka集群。

3.难道我的flume收集节点的进程有异常&＃xff1f;&＃xff1f;&＃xff1f;

a.检查flume进程还在 和 后台运行的 nohup.out日志 没有发现异常&＃xff1b;

b.难道监控的那个日志&＃xff0c;不存在吗&＃xff1f; 然后 ll 命令查看一下&＃xff0c;发现存在的哇。

c.检查我的flume参数文件配置,初步检查没有发现异常,手工执行 这个命令"tail -f /var/log/hadoop-hdfs/hadoop-cmf-hdfs1-NAMENODE-hadoop-01.log.out"  是能够实时输出显示的

[hdfs&＃64;hadoop-01 conf]$ cat nn1_exec_memory_avro.properties
# Name the components on this agent
a1.sources &＃61; r1
a1.sinks &＃61; k1
a1.channels &＃61; c1
# Describe/configure the custom exec source
a1.sources.r1.type &＃61; com.onlinelog.analysis.AdvancedExecSource
a1.sources.r1.command &＃61; tail -f /var/log/hadoop-hdfs/hadoop-cmf-hdfs1-NAMENODE-hadoop-01.log.out
a1.sources.r1.batchSize &＃61; 200
a1.sources.r1.hostname &＃61; hadoop-01
a1.sources.r1.servicename &＃61; namenode
# Describe the sink
a1.sinks.k1.type &＃61; avro
a1.sinks.k1.hostname &＃61; 172.16.101.54
a1.sinks.k1.port &＃61; 4545
a1.sinks.k1.batch-size &＃61; 200
# Use a channel which buffers events in memory
a1.channels.c1.type &＃61; memory
a1.channels.c1.keep-alive &＃61; 60
a1.channels.c1.capacity &＃61; 1000000
a1.channels.c1.transactionCapacity &＃61; 600
# Bind the source and sink to the channel
a1.sources.r1.channels &＃61; c1
a1.sinks.k1.channel &＃61; c1


4.google&＃43;baidu............
5.实在没办法&＃xff0c;打开官网

 https://flume.apache.org/FlumeUserGuide.html#exec-source

发现这么一句话&＃xff1a;

. Parameter -F is better in this case than -f as it will also follow file rotation.

然后我发现用的是tail -F&＃xff08;是大写&＃xff09;&＃xff0c;而我们运维&＃xff0c;dba人员习惯用tail -f ,于是我去查看命令帮助发现这两者的差别。

$ tail --help
-f, --follow[&＃61;{name|descriptor}]

            output appended data as the file grows;

             -f, --follow, and --follow&＃61;descriptor are
            equivalent
-F         same as --follow&＃61;name --retry

而我们的log日志&＃xff0c;是每达到200M&＃xff0c;是要重新重命名的&＃xff0c;比如加上序号1.&＃xff0c;然后重新创建这个日志。
所以在tail 一个log文件的时候, 文件滚动之后这个tail -f命令,就失效了. 
-F 是--follow&＃61;name --retry的缩写, --follow&＃61;name是按照文件名跟踪文件, 可以定期去重新打开文件检查文件是否被其它程序删除并重新建立. --retry这个参数, 保证文件重新建立后,可以继续被跟踪.

三.解决方法:
于是&＃xff0c;我果断将所有的 -f改为-F, 
重启flume进程(当然好像可以不用重启的&＃xff0c;因为flume会每隔一段时间会读取配置文件来动态生效&＃xff0c;不过我还是选择手动重启&＃xff0c;立即生效)&＃xff0c;
监控一周&＃xff0c;运行正常。