数据仓库项目的整体框架分层

数据仓库项目的整体框架分层

数仓项目最主要的就是分层一般都会分为四层:

ODS层：操作数据（最原始的数据）层 —OD贴源层

DWD层：数仓明细层(将会原始数据明细化) —DWD明细层

DWS层：数仓汇总层(将明细表轻聚合成宽表) —DWS宽表层

ADS层： 应用服务层—(根据宽表层整理汇总上报领导决策)—ADS报表层

一:ODS 贴源层: 最贴近源数据点的一层

ODS 贴源层:flume/sqoop获取原始数据埋点日志,解析json,数据清洗,将数据表格化(数据的事件字段用map集合装),关联geohash地理位置维表id-mapping用户唯一标识两个字典.数据的集成和回补

二:DWD明细层各种各样的明细表

DWD明细层:会写出各种明细表,例如全局事件明细表,广告事件明细表,流量事件明细表,交互事件明细表.

三:DWS:宽表层:关联各种维表使得表变得很宽

DWS宽表层:会group by 各个字段的角度,例如:商品信息宽表,订单信息宽表,物流信息宽表,评论信息宽表

四:ADS:报表层:上报领导进行决策的表会轻聚合各种维表

流量多维报表,日新统计报表,日活统计报表,用户留存报表,用户活跃报表,广告概况报表,转化漏斗报表

• 
  
  点赞
  


• 
  
  收藏


• 
  
  分享


• 
  

  
  

  
  
  • 文章举报