Hive读取不到Flume正在写入的HDFS临时文件的解决办法

问题导读

1.本文的应用场景是什么&＃xff1f;
2.Hive读取不到Flume正在写入的HDFS临时文件&＃xff0c;该如何解决&＃xff1f;

实际工作遇到如下场景&＃xff1a;应用服务器收集到的日志信息&＃xff0c;通过Flume写入到HDFS指定目录&＃xff0c;而Hive将其映射到表&＃xff0c;进行离线统计。

计划

计划方式处理&＃xff1a;

Hive的表创建为外部分区表&＃xff0c;例如&＃xff1a;

1. USE mydb;
2. CREATE EXTERNAL TABLE mytable
3. ( 
4.   c1 String,
5.   c2 INT,
6.   c3 INT,
7.   create_time String
8. )
9. PARTITIONED BY (dt STRING);

然后创建分区&＃xff0c;如&＃xff1a;

ALTER TABLE mytable ADD PARTITION (dt &＃61; ’2013-09-25′) LOCATION ‘/data/mytable/2013-09-25/’;
ALTER TABLE mytable ADD PARTITION (dt &＃61; ’2013-09-26′) LOCATION ‘/data/mytable/2013-09-26/’;
ALTER TABLE mytable ADD PARTITION (dt &＃61; ’2013-09-27′) LOCATION ‘/data/mytable/2013-09-27/’;

即Hive的表按天进行分区。指定到相应目录。

而Flume中配置将数据保存到HDFS中,即HDFS sink。计划每天一个文件&＃xff0c;进行日切。如2013-09-25对应的文件就保存在&＃xff1a;

hdfs:///data/mytable/2013-09-25/FlumeData.xxx

这样&＃xff0c;只要文件生成&＃xff0c;就能直接通过操作Hive的mytable表来对文件进行统计了。

业务上要求统计工作是按照小时进行&＃xff0c;考虑到按照小时进行分区过于细化&＃xff0c;而且会导致过多的文件给NameNode造成内存压力&＃xff0c;所以如上Hive层面按天进行划分。

统计执行时首先指定天分区&＃xff0c;然后根据create_time&＃xff08;mm:hh:ss&＃xff09;指定统计时间段&＃xff0c;如&＃xff1a;

SELECT c1,
            SUM(c2),
            SUM(c3)
FROM mytable
WHERE dt &＃61; ’2013-09-25′
     AND create_time BETWEEN ’22:00:00′ AND ’22:59:59′
GROUP BY c1
;

但是&＃xff0c;但是&＃xff0c;计划始终赶不到遇到的变化&＃xff01;

在实践的过程中遇到如下两个问题&＃xff1a;

1.对于正在写入的文件&＃xff0c;通过hadoop fs -ls 命令查看&＃xff0c;其大小始终是0&＃xff0c;即使通过hadoop fs -cat可以看到实际已经有内容存在&＃xff01;通过hive处理的话也看不到其中的数据。

2.Flume正在写入的文件&＃xff0c;默认会有.tmp后缀。如果Hive在执行过程中&＃xff0c;Flume切换文件&＃xff0c;即将xxx.tmp重命名为xxx&＃xff0c;这时Hive会报错如file not found xxx.tmp。

了解一番后大致知道了缘由&＃xff0c;记录如下&＃xff1a;

针对问题1

首先了解HDFS的特点&＃xff1a;

HDFS中所有文件都是由块BLOCK组成&＃xff0c;默认块大小为64MB。在我们的测试中由于数据量小&＃xff0c;始终在写入文件的第一个BLOCK。而HDFS与一般的POSIX要求的文件系统不太一样&＃xff0c;其文件数据的可见性是这样的&＃xff1a;

• 如果创建了文件&＃xff0c;这个文件可以立即可见&＃xff1b;
• 写入文件的数据则不被保证可见了&＃xff0c;哪怕是执行了刷新操作(flush/sync)。只有数据量大于1个BLOCK时&＃xff0c;第一个BLOCK的数据才会被看到&＃xff0c;后续的BLOCK也同样的特性。正在写入的BLOCK始终不会被其他用户看到&＃xff01;
• HDFS中的sync()保证数据持久化到了datanode上&＃xff0c;然后可以被其他用户看到。

针对HDFS的特点&＃xff0c;可以解释问题1中的现象&＃xff0c;正在写入无法查看。但是使用Hive统计时Flume还在写入那个BLOCK(数据量小的时候)&＃xff0c;那岂不是统计不到信息&＃xff1f;

解决方案&＃xff1a;

每天再按小时切分文件——这样虽然每天文件较多&＃xff0c;但是能够保证统计时数据可见&＃xff01;Flume上的配置项为hdfs.rollInterval。

如果文件数多&＃xff0c;那么还可以考虑对以前的每天的小时文件合并为每天一个文件&＃xff01;

针对问题2

原因比较明显&＃xff0c;Hive处理前获取了对应分区下的所有文件信息&＃xff0c;其中包含xxx.tmp文件&＃xff0c;而传递给MapReduce处理时&＃xff0c;由于Flume进行了切换&＃xff0c;导致原来的xxx.tmp变成了xxx&＃xff0c;新的.tmp名称又变成了yyy.tmp&＃xff0c;这样自然找不到xxx.tmp了。

解决方案&＃xff1a;

解决这个问题想法之一是想控制Hive的处理时机&＃xff0c;但是显然不是那么好控制。

进一步了解到HDFS的Java API读取HDFS文件时&＃xff0c;会忽略以”.”和”_”开头的文件&＃xff01;类似于Linux中默认.xx是隐藏的一样&＃xff0c;应用程序读取HDFS文件时默认也不读取.xxx和_xxx这样名称的文件&＃xff01;

这样就产生了针对问题2的处理方案一&＃xff09;配置Flume&＃xff0c;针对正在写入的文件&＃xff0c;以.号开头。涉及Flume配置项hdfs.inUsePrefix。

也有网友给出了处理方案二&＃xff09;:让应用程序也看不到.tmp结尾的文件&＃xff01;方法是继承PathFilter自定义自己的文件筛选类&＃xff0c;然后在Hive中设置使用这个类。具体如下&＃xff08;转自此文&＃xff09;

1. package com.twitter.util;
2.  
3. import java.io.IOException;
4. import java.util.ArrayList;
5. import java.util.List;
6. import org.apache.hadoop.fs.Path;
7. import org.apache.hadoop.fs.PathFilter;
8.  
9. public class FileFilterExcludeTmpFiles implements PathFilter {
10.     public boolean accept(Path p) {
11.         String name &＃61; p.getName();
12.         return !name.startsWith(“_”) && !name.startsWith(“.”) && !name.endsWith(“.tmp”);
13.     }
14. }

然后在hive-site.xml中加入&＃xff1a;

2.     hive.aux.jars.path
3.     file:///usr/lib/hadoop/hive-serdes-1.0-SNAPSHOT.jar,file:///usr/lib/hadoop/TwitterUtil.jar
6.     mapred.input.pathFilter.class
7.     com.twitter.util.FileFilterExcludeTmpFiles

Done!