ETL数据整合与处理——实例

1.Excel输入

1.打开Kettle工具&＃xff0c;创建转换

使用Kettle工具&＃xff0c;创建一个转换&＃xff0c;并添加Excel输入控件&＃xff0c;具体如图1所示&＃xff1a;

 图1 创建转换

2.配置“Excel输入”控件

双击“Excel输入”控件&＃xff0c;进入“Excel输入”配置界面&＃xff0c;单击“浏览”按钮&＃xff0c;选择物理成绩.xls&＃xff1b;单击“增加”按钮&＃xff0c;具体效果如图2所示&＃xff1b;单击“工作表”选项卡&＃xff0c;获取工作表&＃xff0c;如图3所示&＃xff1b;单击“字段”选项卡&＃xff0c;添加字段&＃xff0c;如图4所示&＃xff1a;

 图2 配置“文件”选项卡

 图3 配置“工作表”选项卡

 图4 配置“字段”选项卡

 3.运行转换

单击转换工作区顶部的 按钮&＃xff0c;运行创建的转换&＃xff0c;如图5所示&＃xff1a;

 图5 运行转换

2.生成记录

1.打开Kettle工具&＃xff0c;创建转换

使用Kettle工具&＃xff0c;创建一个转换&＃xff0c;并添加“生成记录”控件&＃xff0c;具体如图6所示&＃xff1a;

图6 创建转换

 2.配置“生成记录”控件

双击“生成记录”控件&＃xff0c;进入“生成记录”控件界面&＃xff0c;添加字段&＃xff0c;并预览数据&＃xff0c;如图7所示&＃xff1a;

 图7 配置“生成记录”控件和预览数据

3. 运行转换

单击转换工作区顶部的 按钮&＃xff0c;运行创建的转换&＃xff0c;如图8所示&＃xff1a;

 图8 运行转换

3.生成随机数

1.打开Kettle工具&＃xff0c;创建转换

使用Kettle工具&＃xff0c;创建一个转换&＃xff0c;并添加“生成随机数”控件&＃xff0c;具体如图9所示&＃xff1a;

图9 创建转换 

2.配置“生成随机数”控件

双击“生成随机数 ”控件&＃xff0c;进入“生成随机数”控件界面&＃xff0c;添加字段&＃xff0c;如图10所示&＃xff1a;

图10 配置“生成随机数”控件

3.打开Kettle工具&＃xff0c;创建转换

使用Kettle工具&＃xff0c;创建一个转换&＃xff0c;并添加“生成记录”控件、“生成随机数”控件和“Excel输出”控件&＃xff0c;具体如图11所示&＃xff1a;

 图11 创建转换

4.配置“生成随机数”控件

双击“生成随机数 ”控件&＃xff0c;进入“生成随机数”控件界面&＃xff0c;添加字段&＃xff0c;如图12所示&＃xff1a;

图12 配置“生成随机数”控件

5.配置“Excel输出”控件

双击“Excel输出”控件&＃xff0c;进入“Excel输出”配置界面&＃xff0c;单击“字段”选项卡&＃xff0c;添加字段&＃xff0c;如图13所示&＃xff1a;

图13 配置“Excel输出”控件

6. 运行转换

单击转换工作区顶部的 按钮&＃xff0c;运行创建的转换&＃xff0c;如图14所示&＃xff1a;

 图14 运行转换

4.获取系统信息

1.打开Kettle工具&＃xff0c;创建转换

使用Kettle工具&＃xff0c;创建一个转换&＃xff0c;并添加“获取系统信息”控件&＃xff0c;具体如图15所示&＃xff1a;

图15 创建转换

2.配置“获取系统信息”控件

双击“获取系统信息”控件&＃xff0c;进入“获取系统信息”控件界面&＃xff0c;添加字段&＃xff0c;并预览数据&＃xff0c;如图16所示&＃xff1a;

 图16 配置“获取系统信息”控件和预览数据

 3.运行转换

单击转换工作区顶部的 按钮&＃xff0c;运行创建的转换&＃xff0c;如图17所示&＃xff1a;

 图17 运行转换

5.排序记录

1.打开Kettle工具&＃xff0c;创建转换

使用Kettle工具&＃xff0c;创建一个转换&＃xff0c;并添加“Excel输入”控件和“排序记录”控件&＃xff0c;具体如图18所示&＃xff1a;

图18 创建转换

2.配置“Excel输入”控件

双击“Excel输入”控件&＃xff0c;进入“Excel输入”配置界面&＃xff0c;单击“浏览”按钮&＃xff0c;选择2019年11月月考数学成绩.xls&＃xff1b;单击“增加”按钮&＃xff0c;具体效果如图19所示&＃xff1b;单击“工作表”选项卡&＃xff0c;获取工作表&＃xff0c;如图20所示&＃xff1b;单击“字段”选项卡&＃xff0c;添加字段&＃xff0c;如图21所示&＃xff1a;

 图19 配置“文件”选项卡 

 图20 配置“工作表”选项卡

 图21 配置“字段”选项卡和预览记录

 3.配置“排序记录”控件

双击“排序记录”控件&＃xff0c;进入“排序记录”控件界面&＃xff0c;添加字段&＃xff0c;如图22 所示&＃xff1a;

 图22 配置“排序记录”控件

4. 运行转换

单击转换工作区顶部的 按钮&＃xff0c;运行创建的转换&＃xff0c;执行结果&＃xff0c;如图23所示&＃xff1a;

 图23 运行转换

6.去除重复记录

1.打开Kettle工具&＃xff0c;创建转换

使用Kettle工具&＃xff0c;创建一个转换&＃xff0c;并添加“Excel输入”控件、“排序记录”控件和“去除重复记录”控件&＃xff0c;具体如图24所示&＃xff1a;

 图24 创建转换

2.配置“Excel输入”控件

双击“Excel输入”控件&＃xff0c;进入“Excel输入”配置界面&＃xff0c;单击“浏览”按钮&＃xff0c;选择2018年上学期考试成绩.xls&＃xff1b;单击“增加”按钮&＃xff0c;具体效果如图25所示&＃xff1b;单击“工作表”选项卡&＃xff0c;获取工作表&＃xff0c;如图26所示&＃xff1b;单击“字段”选项卡&＃xff0c;添加字段&＃xff0c;如图27所示&＃xff1a;

 图25 配置“文件”选项卡

 图26 配置“工作表”选项卡

图27 配置“字段”选项卡和预览记录 

 3.配置“排序记录”控件

双击“排序记录”控件&＃xff0c;进入“排序记录”控件界面&＃xff0c;添加字段&＃xff0c;如图28所示&＃xff1a;

 图28 配置“排序记录”控件

4.配置“去除重复记录”控件

双击“去除重复记录”控件&＃xff0c;进入“去除重复记录”控件界面&＃xff0c;添加字段&＃xff0c;如图29示&＃xff1a;

图29  配置“去除重复记录”控件

5. 运行转换

单击转换工作区顶部的 按钮&＃xff0c;运行创建的转换&＃xff0c;执行结果中以去除序号2&＃xff0c;具体如图30所示&＃xff1a;

图30 运行转换 

7.替换NULL值

1.打开Kettle工具&＃xff0c;创建转换

使用Kettle工具&＃xff0c;创建一个转换&＃xff0c;并添加“Excel输入”控件和“替换NULL值”控件&＃xff0c;具体如图31所示&＃xff1a;

图31 创建转换

2.配置“Excel输入”控件

双击“Excel输入”控件&＃xff0c;进入“Excel输入”配置界面&＃xff0c;单击“浏览”按钮&＃xff0c;选择2019年11月月考英语成绩.xls&＃xff1b;单击“增加”按钮&＃xff0c;具体效果如图32所示&＃xff1b;单击“工作表”选项卡&＃xff0c;获取工作表&＃xff0c;如图33所示&＃xff1b;单击“字段”选项卡&＃xff0c;添加字段&＃xff0c;如图34所示&＃xff1a;

 图 32 配置“文件”选项卡

 图33 配置“工作表”选项卡

图34 配置“字段”选项卡和预览数据 

3.配置“替换NULL值”控件

双击“替换NULL值”控件&＃xff0c;进入“替换NULL值”控件界面&＃xff0c;添加字段&＃xff0c;如图35示&＃xff1a;

图35 配置“替换NULL值”控件 

4. 运行转换

单击转换工作区顶部的 按钮&＃xff0c;运行创建的转换&＃xff0c;执行结果中序号7的英语成绩替换成了0.0&＃xff0c;具体如图36所示&＃xff1a;

 图36 运行转换