kettle按照时间增量和全量抽_数仓中的全量表，增量表，拉链表，流水表，快照表...

数仓中的全量表&＃xff0c;增量表&＃xff0c;拉链表&＃xff0c;流水表&＃xff0c;快照表

预热&＃xff1a;

我们先从几个物理概念入手理解什么是流量&＃xff0c;存量&＃xff0c;增量

&＃xff08;1&＃xff09;存量&＃xff1a;系统在某一时点时的所保有的数量&＃xff1b;

&＃xff08;2&＃xff09;流量&＃xff1a;是指在某一段时间内流入/出系统的数量

&＃xff08;3&＃xff09;增量&＃xff1a;则是指在某一段时间内系统中保有数量的变化

&＃xff08;4&＃xff09;增量&＃61;流入量--流出量

&＃xff08;5&＃xff09;本期期末存量&＃61;上期期末存量&＃43;本期内增量

正题

全量表&＃xff1a;每天的所有的最新状态的数据。

&＃xff08;1&＃xff09;全量表&＃xff0c;有无变化&＃xff0c;都要报
&＃xff08;2&＃xff09;每次上报的数据都是所有的数据&＃xff08;变化的 &＃43; 没有变化的&＃xff09;

增量表&＃xff1a;新增数据&＃xff0c;增量数据是上次导出之后的新数据。
&＃xff08;1&＃xff09;记录每次增加的量&＃xff0c;而不是总量&＃xff1b;
&＃xff08;2&＃xff09;流量是指在一定时间内的增量&＃xff1b;
&＃xff08;3&＃xff09;流量一般设计成增量表&＃xff08;日报-常用、月报&＃xff09;&＃xff1b;
&＃xff08;4&＃xff09;流量和存量的区别&＃xff1a;流量是增量&＃xff1b;存量是总量&＃xff1b;
&＃xff08;5&＃xff09;增量表&＃xff0c;只报变化量&＃xff0c;无变化不用报

拉链表&＃xff1a;

&＃xff08;1&＃xff09;记录一个事物从开始&＃xff0c;一直到当前状态的所有变化的信息&＃xff1b;

&＃xff08;2&＃xff09;拉链表每次上报的都是历史记录的最终状态&＃xff0c;是记录在当前时刻的历史总量&＃xff1b;

&＃xff08;3&＃xff09;当前记录存的是当前时间之前的所有历史记录的最后变化量&＃xff08;总量&＃xff09;&＃xff1b;

&＃xff08;4&＃xff09;存量是在某一时刻的总量&＃xff1b;

&＃xff08;5&＃xff09;存量一般设计成拉链表&＃xff08;月报-常用、日报&＃xff09;&＃xff1b;

&＃xff08;6&＃xff09;流量和存量的区别&＃xff1a;流量是增量&＃xff1b;存量是总量&＃xff1b;

&＃xff08;7&＃xff09;封链时间可以是2999&＃xff0c;3000&＃xff0c;9999等等比较大的年份&＃xff1b;拉链表到期数据要报0&＃xff1b;

&＃xff08;8&＃xff09;拉链表和增量表的共同点&＃xff1a;表结构基本一样。

在有些情况下&＃xff0c;为了保持历史的一些状态&＃xff0c;需要用拉链表来做&＃xff0c;这样做目的在可以保留所有状态的情况下可以节省空间。

拉链表适用于以下几种情况吧 数据量有点大&＃xff0c;表中某些字段有变化&＃xff0c;但是呢变化的频率也不是很高&＃xff0c;业务需求呢又需要统计这种变化状态&＃xff0c;每天全量一份呢&＃xff0c;有点不太现实&＃xff0c; 不仅浪费了存储空间&＃xff0c;有时可能业务统计也有点麻烦&＃xff0c;

这时&＃xff0c;拉链表的作用就提现出来了&＃xff0c;既节省空间&＃xff0c;又满足了需求。

关于拉链表设计的案例&＃xff1a;可以看看下面的博客

http://www.cnblogs.com/wujin/p/6121754.html

https://blog.csdn.net/mtj66/article/details/78019370

http://www.jianshu.com/p/799252156379

http://lxw1234.com/archives/2015/04/20.htm

流水表&＃xff1a;对于表的每一个修改都会记录&＃xff0c;可以用于反映实际记录的变更

　区别于拉链表&＃xff1a;　

1. 拉链表通常是对账户信息的历史变动进行处理保留的结果&＃xff0c;流水表是每天的交易形成的历史&＃xff1b;
2. 流水表用于统计业务相关情况&＃xff0c;拉链表用于统计账户及客户的情况

快照表&＃xff1a;

按照每天存放的数据以及是否按天分区可以分为增量表&＃xff0c;全量表和快照表