大数据之ELT

ETL 和 ELT 有很多共同点&＃xff0c;从本质上讲&＃xff0c;每种集成方法都可以将数据从源端抽取到数据仓库中&＃xff0c;两者的区别在于数据在哪里进行转换。

ELT的工作原理

与 ETL 不同&＃xff0c;ELT是从多个数据源收集信息&＃xff0c;将其加载到数据仓库&＃xff08;或者数据湖&＃xff09;中&＃xff0c;然后将其转换为可操作的商业智能的过程。

抽取——在ELT和ETL两种数据管理方法中的原理相似。一般我们会采用增量抽取&＃xff0c;对于一些维表数据量比较小的也会采用全量抽取。

加载——这是 ELT 和 ETL 开始不同的地方了。ELT 不是在抽取大量原始数据的过程中将其转换&＃xff0c;而是将所有数据都加在到湖仓中&＃xff0c;然后统一进行转换&＃xff0c;这样做加快了抽取的效率&＃xff0c;但也意味着数据变得有用之前还有很多工作要做。

转换——数据湖或数据仓库对数据进行规范化&＃xff0c;将部分或全部数据保留在湖仓中&＃xff0c;并可用于定制报告。存储海量数据的开销更高&＃xff0c;但也是为了后续能够更加快速的进行数据挖掘和报表展现&＃xff0c;也就是我们常说的用空间换时间。

其中数据变换根据下游使用的需要而在 SQL 中进行&＃xff0c;而不是在加载阶段期间

什么时候我们选择ELT

这取决于公司现有的网络和技术架构、预算以及它已经利用云和大数据技术的程度。如果是有下面三个需求场景时&＃xff0c;那么ELT就是正确的选择~

1. 当抽取速度是第一选择时

因为 ELT 不必等待数据在抽取过程中进行转换后再加载&＃xff0c;那么抽取过程要快得多。

2. 当需要随时访问原始数据时

有很多场景&＃xff0c;我们需要保留所有历史数据&＃xff0c;分析师可以根据时间、销售模式、季节性趋势或任何对业务变得重要的新兴指标进行挖掘。由于数据在加载之前未进行转换&＃xff0c;因此您可以访问所有原始数据。比如&＃xff0c;数据仓库一般都有一个原始数据层&＃xff0c;很多数据科学家更喜欢访问原始数据&＃xff0c;而业务用户更喜欢使用分析后的应用层或者模型层数据。

3. 当需要随时可扩展数据湖仓时

当您使用 Hadoop 或云数据仓库等数据处理引擎时&＃xff0c;ELT 可以利用本机处理能力实现更高的可扩展性。

总结

ELT 中&＃xff0c;数据变换根据下游使用的需要而在 SQL 中进行&＃xff0c;而不是在加载阶段期间。使用 ELT 方法&＃xff0c;在提取完成之后&＃xff0c;数据加载会立即开始&＃xff0c;而不用等待 ”恰当的” 数据变换操作。 转换还可以在查询时运行&＃xff0c;比 ETL 更省时&＃xff0c;因为 ETL 需要用户等待转换完成。 ELT 允许 BI 用户和分析人员无限制地访问整个原始数据&＃xff0c;为用户提供了更大的灵活性&＃xff0c;使之能更好地支持该业务。