第1节网站点击流项目(上)：3、离线日志网站处理的架构流程

掌握&＃xff0c;背下来&＃xff1a;

 &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;

1&＃xff0e; 数据处理流程

网站流量日志数据分析是一个纯粹的数据分析项目&＃xff0c;其整体流程基本上就是依据数据的处理流程进行。有以下几个大的步骤&＃xff1a;

• 数据采集

数据采集概念&＃xff0c;目前行业会有两种解释&＃xff1a;一是数据从无到有的过程&＃xff08;web服务器打印的日志、自定义采集的日志等&＃xff09;叫做数据采集&＃xff1b;另一方面也有把通过使用Flume等工具把数据采集到指定位置的这个过程叫做数据采集。

关于具体含义要结合语境具体分析&＃xff0c;明白语境中具体含义即可。

• 数据预处理

通过mapreduce程序对采集到的原始日志数据进行预处理&＃xff0c;比如清洗&＃xff0c;格式整理&＃xff0c;滤除脏数据等&＃xff0c;并且梳理成点击流模型数据。

• 数据入库

将预处理之后的数据导入到HIVE仓库中相应的库和表中。

• 数据分析

项目的核心内容&＃xff0c;即根据需求开发ETL分析语句&＃xff0c;得出各种统计结果。

• 数据展现

将分析所得数据进行数据可视化&＃xff0c;一般通过图表进行展示。

2&＃xff0e; 系统的架构

相对于传统的BI数据处理&＃xff0c;流程几乎差不多&＃xff0c;但是因为是处理大数据&＃xff0c;所以流程中各环节所使用的技术则跟传统BI完全不同&＃xff1a;

数据采集&＃xff1a;定制开发采集程序&＃xff0c;或使用开源框架Flume

数据预处理&＃xff1a;定制开发mapreduce程序运行于hadoop集群

数据仓库技术&＃xff1a;基于hadoop之上的Hive

数据导出&＃xff1a;基于hadoop的sqoop数据导入导出工具

数据可视化&＃xff1a;定制开发web程序(echarts)

整个过程的流程调度&＃xff1a;hadoop生态圈中的azkaban工具

其中&＃xff0c;需要强调的是&＃xff1a;

系统的数据分析不是一次性的&＃xff0c;而是按照一定的时间频率反复计算&＃xff0c;因而整个处理链条中的各个环节需要按照一定的先后依赖关系紧密衔接&＃xff0c;即涉及到大量任务单元的管理调度&＃xff0c;所以&＃xff0c;项目中需要添加一个任务调度模块。

3&＃xff0e; 数据展现

数据展现的目的是将分析所得的数据进行可视化&＃xff0c;以便运营决策人员能更方便地获取数据&＃xff0c;更快更简单地理解数据。

市面上有许多开源的数据可视化软件、工具。比如Echarts.