使用hive进行日志分析

任务

将一批登陆日志导入到hive中，然后通过hive计算如下数据，并将计算结果存入mongoDB。
1、每小时的登陆用户数（qid消重）
2、每小时通过各渠道登陆各游戏的用户数
3、12月9日10点的新用户登陆日志的数据结构如下所示。

2、加载数据到登陆日志表

日志文件是按小时组织的，因此一天有24个文件。通过使用“20131208*”可以将12月8号那天的24个文件一次性加载到hive中。

3、在hive中建立计算结果的表结构

storedby指定了该表的存储位置。这里使用了开源的
Hive-mongo程序使hive的计算结果直接保存到mongoDB中。tblproperties中指定了mongo的host、port、db、collection。

4、加载数据到计算结果表

遇到的坑

1.加载数据到登陆日志表失败，所有记录的值都为null
原因：正则表达式编写不正确。由于自定义了表属性信息serdeproperties，因此要求正则表达式必须能与日志格式完全匹配，否则提取不到特定信息。为了写出正确的正则表达式，首先在Regex Match Tracer中编写来匹配日志，成功后再将每个正则表达式中的转义字符再加上一个转义符号&＃8221;&＃8221;（详细解释），但仍然加载不成功。仔细分析后发现，在Regex Match Tracer中用来匹配的那条日志记录，其&＃8221;渠道&＃8221;字段都为字符串，因此我在正则表达式中直接使用\w+来匹配，而日志中绝大多数的记录，其“渠道”字段中有分隔符“-”，从而导致绝大多数日志记录不匹配。而每次查看日志表时，只查看前10条记录，恰好前10条记录都不匹配，让我误以为所有的都是null。
2.加载数据到计算结果表时，经常性的失败
原因：将mongo.host写成127.0.0.1。hive会将操作语句转换为map-reduce任务，map-reduce会在w5-w15集群中进行分布式运算。本机为w5，而mongodb只有在w5上才有。若任务分配到w5则能成功连上mongodb，若分配到其他机器上，则会尝试连接其他机器的mongodb，当然会连不上而导致失败。