ETL即数据抽取&＃xff08;Extract&＃xff09;、转换&＃xff08;Transform&＃xff09;、装载&＃xff08;Load&＃xff09;的过程。它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合&＃xff0c;用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有&＃xff1a;滥用缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。即便是一个设计和规划良好的数据库系统&＃xff0c;如果其中存在着大量的噪声数据&＃xff0c;那么这个系统也是没有任何意义的&＃xff0c;因为“垃圾进&＃xff0c;垃圾出”&＃xff08;garbage in, garbage out&＃xff09;&＃xff0c;系统根本就不可能为决策分析系统提供任何支持。为了清除噪声数据&＃xff0c;必须在数据库系统中进行数据清洗。目前有不少数据清洗研究和ETL研究&＃xff0c;但是如何在ETL过程中进行有效的数据清洗并使这个过程可视化&＃xff0c;此方面研究不多。本文主要从两个方面阐述ETL和数据清洗的实现过程&＃xff1a;ETL的处理方式[19]和数据清洗的实现方法。
&＃xff08;1&＃xff09;ETL的处理方式
本文所采用的ETL方法是数据库段区域中的ETL处理方式&＃xff0c;它不使用外部引擎而是使用数据库作为唯一的控制点。由于源系统SQLserver2000是关系数据库&＃xff0c;它的段表也是典型的关系型表。成功地将外部未修改数据载入数据库后&＃xff0c;再在数据库内部进行转换。数据库段区域中的ETL处理方式执行的步骤是提取、装载、转换&＃xff0c;即通常所说的ELT。[这种方式的优点是为抽取出的数据首先提供一个缓冲以便于进行复杂的转换&＃xff0c;减轻了ETL进程的复杂度。
&＃xff08;2&＃xff09;ETL过程中实现数据清洗的实现方法
首先&＃xff0c;在理解源数据的基础上实现数据表属性一致化。为解决源数据的同义异名和同名异义的问题&＃xff0c;可通过元数据管理子系统&＃xff0c;在理解源数据的同时&＃xff0c;对不同表的属性名根据其含义重新定义其在数据挖掘库中的名字&＃xff0c;并以转换规则的形式存放在元数据库中&＃xff0c;在数据集成的时候&＃xff0c;系统自动根据这些转换规则将源数据中的字段名转换成新定义的字段名&＃xff0c;从而实现数据挖掘库中的同名同义。
其次&＃xff0c;通过数据缩减&＃xff0c;大幅度缩小数据量。由于源数据量很大&＃xff0c;处理起来非常耗时&＃xff0c;所以可以优先进行数据缩减&＃xff0c;以提高后续数据处理分析效率。
最后&＃xff0c;通过预先设定数据处理的可视化功能节点&＃xff0c;达到可视化的进行数据清洗和数据转换的目的。针对缩减并集成后的数据&＃xff0c;通过组合预处理子系统提供各种数据处理功能节点&＃xff0c;能够以可视化的方式快速有效完成数据清洗和数据转换过程。
![Spark中使用map或flatMap将DataSet[A]转换为DataSet[B]时Schema变为Binary的问题及解决方案](https://img6.php1.cn/3cdc5/9b0d/243/f27d40b3b7e4b51b.png)
京公网安备 11010802041100号