详解：离线项目一：为什么大数据面前没有秘密

疑问&＃xff1a;

我们在购物浏览淘宝 或则 京东的时候&＃xff0c;为什么过一点时间在次登录的时候&＃xff0c;就会出现之前浏览的相同商品或则类似商品呢&＃xff0c;还有在浏览一些网页&＃xff0c;视频的时候&＃xff0c;也会出现这样的现象呢&＃xff1f;
小编之前一直有这个疑问&＃xff0c;如今在大数据的学习当中找到了答案

为什么

是否感觉有一双眼睛在观察我的所有行为&＃xff0c;时候感觉我的行为都有被记录&＃xff0c;
在哪里被记录&＃xff0c;在哪里呢 在哪里呢

一&＃xff1a;解答

这里就设计到了一个叫做用户行为数据 操作记录和浏览记录 每一步操作都有记录
用户&＃xff1a;人、设备
其中也叫千人千面 每个人浏览的网页不同&＃xff0c;他所推荐记录的数据也不不同
推荐&＃xff1a; 根据 用户行为数据(历史)&＃43;订单类型 搜索的东西 比如在京东浏览

在京东上面浏览网页 》 在右键点击有审查元素 》 里面有个network

找到 log.gif 买点&＃xff0c;记录&＃xff0c;&＃xff0c;这个信息是经过编码的 &＃xff0c;看不出来是什么 通过这份日志可以分析出来很多的东西 每个产品你搜索多少次 浏览器 什么系统os

这个乱码可以解析出来的
在百度找urldecode 解码

你每一步的操作都有记录
不同的公司机制是不一样的 在大数据平台&＃xff0c;告诉你为什么是透明的

这里就是最初是的日志信息

二&＃xff1a;介绍框架

离线典型的处理框架

人 ——京东页面 ——webserver&＃xff08;集群&＃xff0c;这里记录你的 操作所以行为日志 &＃xff09;—— 通过flume采集——hadoop的hdfs 上面存储 ——数据分析 mp/hive/spark&＃xff08;这里的数据存储还是在hdfs上面&＃xff09;——你要做前端的展示 就要&＃xff08;通过 用Sqoop &＃xff09;数据存储在ROBMS /NoSQL上面 ——UI展示

下一篇将会介绍框架流程