kettle中的switch_Kettle学习笔记（二）—基本操作

目录

打开Kettle

打开时间略长&＃xff0c;请耐心等待。

常用的控件说明

这里先对控件做下简单说明&＃xff0c;方便后面使用。

通用控件

通用——START&＃xff1a;作业开始&＃xff1b;

通用——作业&＃xff1a;指定某个作业循环执行&＃xff1b;

通用——转换&＃xff1a;指定某个转换&＃xff0c;加入到作业中来&＃xff1b;

通用——设置变量&＃xff1a;设置变量&＃xff0c;为了转换或者作业中获取变量&＃xff1b;

通用——成功&＃xff1a;作业完成操作&＃xff1b;

通用——DUMMY&＃xff1a;空操作&＃xff0c;什么也不执行&＃xff1b;

邮件——发送邮件&＃xff1a;给指定邮箱发送邮件&＃xff0c;发件人的账号需要开通第三方发送邮件的功能&＃xff1b;

文件管理——复制/移动结果文件&＃xff1a;复制/移动文件&＃xff1b;

文件管理——创建一个目录&＃xff1a;创建指定的目录&＃xff1b;

文件管理——删除一个文件&＃xff1a;删除指定的一个文件&＃xff1b;

文件管理——复制文件&＃xff1a;复制指定的文件&＃xff1b;

文件管理——删除目录&＃xff1a;删除指定的目录&＃xff1b;

文件管理——删除多个文件&＃xff1a;通过正则表达式批量删除文件&＃xff1b;

条件——检查数据库连接&＃xff1a;检查数据库是否能够连接通&＃xff1b;

条件——检查表是否存在&＃xff1a;检查指定的表是否存在&＃xff1b;

文件传输——SFTP下载&＃xff1a;可以通过SSH进行远程下载文件&＃xff1b;

文件传输——SFTP上传&＃xff1a;可以通过SSH进行远程上传文件&＃xff1b;

文件传输——FTP删除&＃xff1a;可以远程删除指定的文件&＃xff1b;

转换中常用控件&＃xff1a;

输入——Excel输入&＃xff1a;从excel文件中读取数据&＃xff1b;

输入——文本文件输入&＃xff1a;从文本文件中读取数据&＃xff1b;

输入——生成随机数&＃xff1a;用来生成指定类型的随机数&＃xff1b;

输入——自定义数据常量&＃xff1a;将值不变的变量存入到此处&＃xff0c;方便管理&＃xff1b;

输入——获取系统信息&＃xff1a;可以获取系统信息(日期、命令行参数)&＃xff1b;

输入——表输入&＃xff1a;从数据库表中读取数据&＃xff1b;

输出——Excle输出&＃xff1a;注意.xls格式输出行数有限制&＃xff0c;一般输出.xlsx最好&＃xff1b;

输出——插入/更新&＃xff1a;根据指定的匹配字段&＃xff0c;可以检测是插入新数据&＃xff0c;还是修改旧数据&＃xff1b;

输出——文本文件输出&＃xff1a;将结果数据输出到文本文件中去&＃xff1b;

输出——表输出&＃xff1a;将结果数据输出到某个数据库的某个表中&＃xff1b;

转换——增加常量&＃xff1a;在原数据中将常量值增加新一列&＃xff1b;

转换——排序记录&＃xff1a;对原数据按照某个字段进行排序&＃xff1b;

转换——剪切字符串&＃xff1a;对字符串进行截图&＃xff1b;

转换——去重复记录&＃xff1a;对于某个字段有重复的记录进行过滤&＃xff1b;

转换——字段选择&＃xff1a;筛选流中的字段&＃xff0c;慎用&＃xff0c;过滤后后面的控件将无法获取流中筛除的字段了&＃xff1b;

流程——空操作&＃xff1a;将不需要的数据放到此处&＃xff0c;类似垃圾箱&＃xff1b;

流程——过滤记录&＃xff1a;按照条件进行过滤&＃xff0c;类似if-else&＃xff1b;

流程——Switch/Case:与java中switch/case一样&＃xff1b;

脚本——java代码&＃xff1a;执行java代码&＃xff1b;

脚本——Javascript代码&＃xff1a;执行Javascript代码&＃xff1b;

脚本——执行SQL脚本&＃xff1a;执行sql&＃xff1b;

连接——记录集连接&＃xff1a;类似于sql的left join/right join/inner join&＃xff0c;但是使用前的数据必须要经过排序&＃xff1b;

作业——从结果获取记录&＃xff1a;从作业中获取数据&＃xff1b;

作业——复制记录到结果&＃xff1a;将转换中的结果数据放到作业中去&＃xff1b;

作业——获取变量&＃xff1a;从作业中获取变量&＃xff1b;

作业——设置变量&＃xff1a;设置变量&＃xff0c;从而让作业中能够获取变量&＃xff1b;

建立转换

文件—新建—转换。

新建转换后点击左边的主对象树&＃xff0c;然后选择DB连接&＃xff0c;建立用以连接数据库。如图所示&＃xff1a;

建立数据库连接的过程相当于在数据库管理工具连接数据库。

输入所需同步的两个数据库&＃xff0c;点击测试查看连接是否正常

注意&＃xff1a;在数据库链接的过程中&＃xff0c;可能会报某个数据库连接找不到的异常。那是因为你没有对应的数据库链接驱动&＃xff0c;请下载对应驱动后&＃xff0c;放入kettle的lib文件夹。

简单的数据同步/更新

新建表插入

在左边的菜单选择“核心对象”&＃xff0c;在核心对象里面选择“输入—表输入”,用鼠标拖放到右边面板。

双击拖进来的表&＃xff0c;可对表进行编辑。

新建插入\更新

在左边面板中选择核心对象、选择“输出->插入\更新”如图所示&＃xff1a;

双击插入更新&＃xff0c;编辑它选中表输入&＃xff0c;按住shift键&＃xff0c;拖向插入更新。

选中表输入&＃xff0c;按住shift键&＃xff0c;拖向插入更新。

双击插入更新&＃xff0c;更改设置。

查询字段&＃xff1a;用来对比的关键字段&＃xff0c;kettle会根据它来判断是插入还是更新&＃xff0c;一般用id

运行装换

点击运行按钮&＃xff0c;测试装换是否成功。

启动完成。

使用作业控制转换

作业可以定时或周期性的执行转换&＃xff0c;新建作业。并从左边面板拖入start 和转换。

双击start可以编辑&＃xff0c;可以设置执行时间等等

点开装换&＃xff0c;可以设置需要执行的转换任务&＃xff0c;打开我们保存的转换。

将成功拖到右侧面板&＃xff0c;并连接。

这样一个简单的通过作业调度的kettle就算做完了。