kettlespoon判断增量更新_开源ETL工具kettle系列之增量更新设计技巧

ETL

中增量更新是一个比较依赖与工具和设计方法的过程&＃xff0c;

Kettle

中主要提

供

Insert

/

Update

步骤&＃xff0c;

Delete

步骤和

Database

Lookup

步骤来支持增量更

新&＃xff0c;

增量更新的设计方法也是根据应用场景来选取的&＃xff0c;

虽然本文讨论的是

Kettle

的实现方式&＃xff0c;

但也许对其他工具也有一些帮助。

本文不可能涵盖所有的情况&＃xff0c;

欢

迎大家讨论。

应用场景

增量更新按照数据种类的不同大概可以分成&＃xff1a;

1.

只增加&＃xff0c;不更新&＃xff0c;

2.

只更新&＃xff0c;不增加

3.

即增加也更新

4.

有删除&＃xff0c;有增加&＃xff0c;有更新

其中

1

&＃xff0c;

2

&＃xff0c;

3

种大概都是相同的思路&＃xff0c;使用的步骤可能略有不同&＃xff0c;通用的方法

是在原数据库增加一个时间戳&＃xff0c;

然后在转换之后的对应表保留这个时间戳&＃xff0c;

然后

每次抽取数据的时候&＃xff0c;

先读取这个目标数据库表的时间戳的最大值&＃xff0c;

把这个值当

作参数传给原数据库的相应表&＃xff0c;

根据这个时间戳来做限定条件来抽取数据&＃xff0c;

抽取

之后同样要保留这个时间戳&＃xff0c;并且原数据库的时间戳一定是指定默认值为

sysdate

当前时间(以原数据库的时间为标准)&＃xff0c;抽取之后的目标数据库的时间

戳要保留原来的时间戳&＃xff0c;而不是抽取时候的时间。

对于第一种情况&＃xff0c;可以使用

Kettle

的

Insert / Update

步骤&＃xff0c;只是可以勾

选

Don

’

t

perform

any

update

选项&＃xff0c;

这个选项可以告诉

Kettle

你只会执行

Insert

步骤。

对于第二种情况可能比较用在数据出现错误然后原数据库有一些更新&＃xff0c;

相应的目

标数据库也要更新&＃xff0c;

这时可能不是更新所有的数据&＃xff0c;

而是有一些限定条件的数据&＃xff0c;

你可以使用

Kettle

的

Update

步骤来只执行更新。关于如何动态的执行限定条

件&＃xff0c;可以参考前一篇文章。

第三种情况是最为常见的一种情况&＃xff0c;使用的同样是

Kettle

的

Insert / Update

步骤&＃xff0c;只是不要勾选

Don

’

t perform any update

选项。

第四种情况有些复杂&＃xff0c;后面专门讨论。

对于第

1

&＃xff0c;

2

&＃xff0c;

3

种情况&＃xff0c;可以参考下面的例子。

这个例子假设原数据库表为

customers

,

含有一个

id

,

firstname

,

lastname

,

age

字段&＃xff0c;主键为

id

,

然后还加上一个默认值为

sysdate

的时间戳字段。转换