数据仓库分层详解：各层次的作用与实现

ODS层（原始数据层）

• 保持数据的原始形态，不进行任何修改，主要用于数据备份和恢复。
• 使用LZO等高效压缩算法，显著减少存储空间。例如，100GB的数据可以压缩至10GB左右。
• 通过创建分区表，提高查询效率，避免全表扫描。
• 在企业环境中，通常创建外部表而非内部表，以便于数据管理和共享。

DWD层（细节数据层）

DWD层主要负责构建详细的维度模型，通常采用星型或雪花型模型。数据需要长期保存，以支持历史数据分析。

• 数据建模
  • 确定业务过程
  • 定义粒度
  • 识别维度
  • 确认事实
• 解析用户行为数据
• 对关键数据进行空值过滤和清洗
• 通过维度退化技术重新建模业务数据
• 使用Parquet等列式存储格式，提高查询性能，无需额外创建索引

DWS层（服务数据层）

DWS层用于统计各主题对象的每日行为，支持DWT层的主题宽表和特定业务需求。

该层的宽表字段从不同维度视角分析事实表，重点关注度量值。例如，一个用户的签到数、收藏数、评论数、抽奖数、订阅数、点赞数、浏览商品数、添加购物车数、下单数、支付数、退款数和点击广告数等。

DWT层/DM层（数据集市层）

此层以分析主题对象为核心，根据上层应用和产品的需求，构建全量宽表。

数据仓库面向整个企业，而数据集市则专注于特定部门，关注较少的指标、维度和主题。

ADS层/APP层（数据应用层）

根据实际应用场景，将数据仓库中的数据转化为具体的应用，如报表、仪表板和数据挖掘等。