1.用户行为采集平台概述

数据仓库&＃xff08;Data Warehouse )是为企业所有决策制定过程&＃xff0c;提供所有系统数据的战略集合

通过对数据仓库中数据的分析&＃xff0c;可以帮助企业&＃xff0c;改进业务、控制成本、提高产品质量等。

数据仓库&＃xff0c;并不是数据的最终目的地&＃xff0c;而是为数据最终的目的地做好准备。

这些准备包括对数据的&＃xff1a;

• 清洗
• 转义
• 分类
• 重组
• 合并
• 拆分
• 统计

项目需求分析

项目需求 :

• 用户行为数据采集平台搭建
• 业务数据采集平台搭建
• 数据仓库维度建模
• 分析&＃xff0c;设备、会员、商品、地区、活动等电商核心主题&＃xff0c;统计的报表指标近100个
• 采用即席查询工具&＃xff0c;随时进行指标分析
• 对集群性能进行监控&＃xff0c;发生异常需要报警
• 元数据管理
• 质量监控

项目框架

技术选型

数据采集传输&＃xff1a;Flume&＃xff0c;DataX , Maxwell , Kafka , Sqoop

数据存储&＃xff1a;MySql &＃xff0c;HDFS&＃xff0c;HBase&＃xff0c;Redis , MongoDB

数据计算&＃xff1a;Hive&＃xff0c;Spark&＃xff0c;Flink , Tez , Strom

数据查询&＃xff1a;Presto&＃xff0c;Kylin&＃xff0c;Impala , DataX

数据可视化&＃xff1a;Superset , QuickBI , DataV

任务调度&＃xff1a;DolphinScheduler、Azkaban、Oozie

集群监控&＃xff1a;Zabbix

元数据管理&＃xff1a;Atlas

系统数据流程设计

业务交互数据&＃xff1a;业务流程中产生的登录、订单、用户、商品、支付等相关的数据&＃xff0c;通常存储在 DB 中&＃xff0c;如 : Mysql、Oracle

埋点用户行为数据 : 用户在使用产品过程中 &＃xff0c;与客户端产品交互程中产生的数据 , 如 : 页面浏览、点击、停留、评论、点赞、收藏

框架版本选型

Apache&＃xff1a;运维麻烦&＃xff0c;组件间兼容性需要自己调研。&＃xff08;一般大厂使用&＃xff0c;技术实力雄厚&＃xff0c;有专业的运维人员&＃xff09;&＃xff08;建议使用&＃xff09;

CDH&＃xff1a;&＃xff1a;国内使用最多的版本&＃xff0c;但CM不开源&＃xff0c;今年开始要收费&＃xff0c;一个节点1万美金

HDP&＃xff1a;开源&＃xff0c;可以进行二次开发&＃xff0c;但是没有CDH稳定&＃xff0c;国内使用较少

框架选型尽量不要选择最新的框架 , 选择最新框架半年前左右的稳定版

服务器选型

物理机&＃xff1a;

• 以128G内存&＃xff0c;20核物理CPU&＃xff0c;40线程&＃xff0c;8THDD和2TSSD硬盘&＃xff0c;戴尔品牌单台报价4W出头。一般物理机寿命5年左右
• 需要有专业的运维人员&＃xff0c;平均一个月1万。电费也是不少的开销

云主机&＃xff1a;

• 以阿里云为例&＃xff0c;差不多相同配置&＃xff0c;每年5W&＃xff0c;主要磁盘贵
• 很多运维工作都由阿里云完成&＃xff0c;运维相对较轻松

企业选择 :

• 金融有钱公司和阿里没有直接冲突的公司选择阿里云
• 中小公司、为了融资上市&＃xff0c;选择阿里云&＃xff0c;拉倒融资后买物理机
• 有长期打算&＃xff0c;资金比较足&＃xff0c;选择物理机

集群资源规划设计

&＃xff08;假设&＃xff1a;每台服务器 8T 磁盘&＃xff0c;128G 内存&＃xff09;

• 每天日活跃用户 100 万&＃xff0c;每人一天平均 100 条&＃xff1a;100万 * 100条 &＃61; 1亿条
• 每条日志 1K 左右&＃xff0c;每天 1 亿条&＃xff1a;100000000 / 1024 / 1024 &＃61; 约100G
• 半年内不扩容服务器来算&＃xff1a;100G * 180天 &＃61; 约18T
• 保存 3 副本&＃xff1a;18T * 3 &＃61; 54T
• 预留20% 30%Buf &＃61; 54T / 0.7 &＃61; 77T

约 8T * 10 台服务器

集群服务器规划 :

用户行为日志概述

用户行为日志的内容 : 用户的各项行为信息以及行为所处的环境信息

收集信息的目的 : 优化产品和为各项分析统计指标提供数据支撑

收集这些信息的手段 : 埋点

埋点方式 :

• 有代码埋点&＃xff08;前端/后端&＃xff09;
• 可视化埋点
• 全埋点

代码埋点 : 通过调用埋点SDK函数&＃xff0c;在需要埋点的业务逻辑功能位置调用接口&＃xff0c;上报埋点数据。如 : 我们对页面中的某个按钮埋点后&＃xff0c;当这个按钮被点击时&＃xff0c;可以在这个按钮对应的 OnClick 函数里面调用SDK提供的数据发送接口&＃xff0c;来发送数据 ( 业务处理 )

可视化埋点 : 只需要研发人员集成采集 SDK&＃xff0c;不需要写埋点代码&＃xff0c;业务人员就可以通过访问分析平台的“圈选”功能&＃xff0c;来“圈”出需要对用户行为进行捕捉的控件&＃xff0c;并对该事件进行命名。圈选完毕后&＃xff0c;这些配置会同步到各个用户的终端上&＃xff0c;由采集 SDK 按照圈选的配置自动进行用户行为数据的采集和发送 ( 花钱 )

全埋点 : 通过在产品中嵌入SDK&＃xff0c;前端自动采集页面上的全部用户行为事件&＃xff0c;上报埋点数据&＃xff0c;相当于做了一个统一的埋点。然后再通过界面配置哪些数据需要在系统里面进行分析 ( 大公司 )

用户行为日志内容

收集和分析的用户行为信息 :

• 页面浏览记录
• 动作记录
• 曝光记录
• 启动记录
• 错误记录

页面浏览记录

页面浏览记录 : 记录访客对页面的浏览行为

浏览行为的环境信息 :

• 用户信息
• 时间信息
• 地理位置信息
• 设备信息
• 应用信息
• 渠道信息
• 页面信息

动作记录

动作记录 : 记录的是用户的业务操作行为

业务操作行为的环境信息 :

• 用户信息
• 时间信息
• 地理位置信息
• 设备信息
• 应用信息
• 渠道信息
• 动作目标对象信息

曝光记录

曝光记录 : 曝光行为

曝光行为的环境信息 :

• 用户信息
• 时间信息
• 地理位置信息
• 设备信息
• 应用信息
• 渠道信息
• 曝光对象信息等

启动记录

启动记录 : 用户启动应用的行为

启动行为的环境信息 :

• 用户信息
• 时间信息
• 地理位置信息
• 设备信息
• 应用信息
• 渠道信息
• 启动类型
• 开屏广告信息

错误记录

错误记录 : 记录用户在使用应用过程中的报错行为

报错行为的环境信息 :

• 用户信息
• 时间信息
• 地理位置信息
• 设备信息
• 应用信息
• 渠道信息
• 可能与报错相关的页面信息
• 动作信息
• 曝光信息
• 动作信息

用户行为日志格式

日志结构分为两类 :

• 页面日志
• 启动日志

页面日志

页面日志 : 以页面浏览为单位&＃xff0c;即一个页面浏览记录&＃xff0c;生成一条页面埋点日志

一条完整的页面日志包含&＃xff0c;一个页面浏览记录&＃xff0c;若干个用户在该页面所做的动作记录&＃xff0c;若干个该页面的曝光记录&＃xff0c;以及一个在该页面发生的报错记录

页面日志环境信息 :

• 用户信息
• 时间信息
• 地理位置信息
• 设备信息
• 应用信息
• 渠道信息

{"common": { -- 环境信息"ar": "230000", -- 地区编码"ba": "iPhone", -- 手机品牌"ch": "Appstore", -- 渠道"is_new": "1", --是否首日使用&＃xff0c;首次使用的当日&＃xff0c;该字段值为1&＃xff0c;过了24:00&＃xff0c;该字段置为0。"md": "iPhone 8", -- 手机型号"mid": "YXfhjAYH6As2z9Iq", -- 设备id"os": "iOS 13.2.9", -- 操作系统"uid": "485", -- 会员id"vc": "v2.1.134" -- app版本号},"actions": [{ --动作(事件) "action_id": "favor_add", --动作id"item": "3", --目标id"item_type": "sku_id", --目标类型"ts": 1585744376605 --动作时间戳}],"displays": [{"displayType": "query", -- 曝光类型"item": "3", -- 曝光对象id"item_type": "sku_id", -- 曝光对象类型"order": 1, --出现顺序"pos_id": 2 --曝光位置},{"displayType": "promotion","item": "6","item_type": "sku_id","order": 2, "pos_id": 1},{"displayType": "promotion","item": "9","item_type": "sku_id","order": 3, "pos_id": 3},{"displayType": "recommend","item": "6","item_type": "sku_id","order": 4, "pos_id": 2},{"displayType": "query ","item": "6","item_type": "sku_id","order": 5, "pos_id": 1}],"page": { --页面信息"during_time": 7648, -- 持续时间毫秒"item": "3", -- 目标id"item_type": "sku_id", -- 目标类型"last_page_id": "login", -- 上页类型"page_id": "good_detail", -- 页面ID"sourceType": "promotion" -- 来源类型},"err":{ --错误"error_code": "1234", --错误码"msg": "***********" --错误信息},"ts": 1585744374423 --跳入时间戳
}


启动日志

启动日志以启动为单位&＃xff0c;及一次启动行为&＃xff0c;生成一条启动日志

一条完整的启动日志包括一个启动记录&＃xff0c;一个本次启动时的报错记录&＃xff0c;以及启动时所处的环境信息

• 用户信息
• 时间信息
• 地理位置信息
• 设备信息
• 应用信息
• 渠道信息

{"common": {"ar": "370000","ba": "Honor","ch": "wandoujia","is_new": "1","md": "Honor 20s","mid": "eQF5boERMJFOujcp","os": "Android 11.0","uid": "76","vc": "v2.1.134"},"start": {"entry": "icon", --icon手机图标 notice 通知 install 安装后启动"loading_time": 18803, --启动加载时间"open_ad_id": 7, --广告页ID"open_ad_ms": 3449, -- 广告总共播放时间"open_ad_skip_ms": 1989 -- 用户跳过广告时点},"err":{ --错误"error_code": "1234", --错误码"msg": "***********" --错误信息},"ts": 1585744304000
}


模拟生成用户行为日志

环境准备

JDK准备

卸载现有JDK&＃xff08;3台节点&＃xff09;

sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps


在 Linux 系统下的 opt 目录中查看软件包是否导入成功

ls /opt/software/


解压 JDK 到 /opt/module 目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/


配置JDK环境变量

新建 /etc/profile.d/my_env.sh 文件

sudo vim /etc/profile.d/my_env.sh


添加如下内容&＃xff0c;然后保存&＃xff08;:wq&＃xff09;退出

#JAVA_HOME
export JAVA_HOME&＃61;/opt/module/jdk1.8.0_212
export PATH&＃61;$PATH:$JAVA_HOME/bin


让环境变量生效

source /etc/profile.d/my_env.sh


测试JDK是否安装成功

java -version


分发JDK

xsync /opt/module/jdk1.8.0_212/


分发环境变量配置文件

sudo /home/cpu/bin/xsync /etc/profile.d/my_env.sh


分别在 cpucode102、cpucode103 上执行 source

source /etc/profile.d/my_env.sh


环境变量配置说明

Linux 的环境变量可在多个文件中配置 :

• /etc/profile
• /etc/profile.d/*.sh
• ~/.bashrc
• ~/.bash_profile

bash的运行模式 :

• login shell : 通过终端&＃xff0c;输入用户名、密码&＃xff0c;登录系统
• non-login shell

login shell 启动时会加载 /etc/profile &＃xff0c;~/.bash_profile &＃xff0c;~/.bashrc

non-login shell 启动时会加载 ~/.bashrc

模拟数据

上传模拟器

将 application.yml 、gmall2020-mock-log-2021-10-10.jar 、path.json 、logback.xml 上传到 cpucode101 的 /opt/module/applog 目录下

创建 applog 路径

mkdir /opt/module/applog


配置文件说明

• application.yml文件

根据需求生成对应日期的用户行为日志

# 外部配置打开
logging.config: "./logback.xml"
#业务日期
mock.date: "2020-06-14"#模拟数据发送模式
mock.type: "log"
#mock.type: "http"
#mock.type: "kafka"#http模式下&＃xff0c;发送的地址
mock.url: "http://localhost:8090/applog"mock:kafka-server: "hdp1:9092,hdp2:9092,hdp3:9092"kafka-topic: "ODS_BASE_LOG"#启动次数
mock.startup.count: 200#设备最大值
mock.max.mid: 1000000#会员最大值
mock.max.uid: 1000#商品最大值
mock.max.sku-id: 35#页面平均访问时间
mock.page.during-time-ms: 20000#错误概率 百分比
mock.error.rate: 3#每条日志发送延迟 ms
mock.log.sleep: 20#商品详情来源 用户查询&＃xff0c;商品推广&＃xff0c;智能推荐, 促销活动
mock.detail.source-type-rate: "40:25:15:20"#领取购物券概率
mock.if_get_coupon_rate: 75#购物券最大id
mock.max.coupon-id: 3#搜索关键词
mock.search.keyword: "图书,小米,iphone11,电视,口红,ps5,苹果手机,小米盒子"# 男女浏览商品比重&＃xff08;35sku)
mock.sku-weight.male: "10:10:10:10:10:10:10:5:5:5:5:5:10:10:10:10:12:12:12:12:12:5:5:5:5:3:3:3:3:3:3:3:3:10:10"
mock.sku-weight.female: "1:1:1:1:1:1:1:5:5:5:5:5:1:1:1:1:2:2:2:2:2:8:8:8:8:15:15:15:15:15:15:15:15:1:1"


• path.json

配置访问路径&＃xff0c;可以根据需求&＃xff0c;灵活配置用户访问路径

[{"path":["home","good_list","good_detail","cart","trade","payment"],"rate":20 },{"path":["home","search","good_list","good_detail","login","good_detail","cart","trade","payment"],"rate":30 },{"path":["home","search","good_list","good_detail","login","register","good_detail","cart","trade","payment"],"rate":20 },{"path":["home","mine","orders_unpaid","trade","payment"],"rate":10 },{"path":["home","mine","orders_unpaid","good_detail","good_spec","comment","trade","payment"],"rate":5 },{"path":["home","mine","orders_unpaid","good_detail","good_spec","comment","home"],"rate":5 },{"path":["home","good_detail"],"rate":20 },{"path":["home" ],"rate":10 }
]


• logback配置文件

可配置日志生成路径


<configuration><property name&＃61;"LOG_HOME" value&＃61;"/opt/module/applog/log" /><appender name&＃61;"console" class&＃61;"ch.qos.logback.core.ConsoleAppender"><encoder><pattern>%msg%npattern>encoder>appender><appender name&＃61;"rollingFile" class&＃61;"ch.qos.logback.core.rolling.RollingFileAppender"><rollingPolicy class&＃61;"ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><fileNamePattern>${LOG_HOME}/app.%d{yyyy-MM-dd}.logfileNamePattern>rollingPolicy><encoder><pattern>%msg%npattern>encoder>appender><logger name&＃61;"com.atguigu.gmall2020.mock.log.util.LogUtil"level&＃61;"INFO" additivity&＃61;"false"><appender-ref ref&＃61;"rollingFile" /><appender-ref ref&＃61;"console" />logger><root level&＃61;"error" ><appender-ref ref&＃61;"console" />root>
configuration>


生成日志

进入到 /opt/module/applog 路径&＃xff0c;执行以下命令

java -jar gmall2020-mock-log-2021-10-10.jar


在 /opt/module/applog/log 目录下查看生成日志

ll


集群日志生成脚本

查看环境变量

echo $PATH


在 /usr/local/sbin 目录下创建脚本 lg.sh

在脚本中编写如下内容

#!/bin/bash
for i in cpucode101 cpucode102; doecho "&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; $i &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;"ssh $i "cd /opt/module/applog/; nohup java -jar gmall2020-mock-log-2021-10-10.jar >/dev/null 2>&1 &"
done


• /opt/module/applog/为jar包及配置文件所在路径
• /dev/null 代表 linux 的空设备文件&＃xff0c;所有往这个文件里面写入的内容都会丢失&＃xff0c;俗称“黑洞”

标准输入0&＃xff1a;从键盘获得输入 /proc/self/fd/0

标准输出1&＃xff1a;输出到屏幕&＃xff08;即控制台&＃xff09; /proc/self/fd/1

错误输出2&＃xff1a;输出到屏幕&＃xff08;即控制台&＃xff09; /proc/self/fd/2

修改脚本执行权限

chmod 777 lg.sh


将 jar 包及配置文件上传至 cpucode102 的 /opt/module/applog/ 路径

启动脚本

lg.sh


分别在 cpucode101、cpucode102 的 /opt/module/applog/log 目录上查看生成的数据

用户行为采集平台搭建 :

https://blog.csdn.net/qq_44226094/article/details/122915599