kettlelinux自动,kettle系列之四linux下使用kettle执行和调度

在linux环境下使用kettle

安装JDK1.8以上

版本要求git

vi Spoon.batgithub

安装PDI

参考spring

直接解压便可bash

[root&＃64;localhost data-integration]# pwd

/opt/kettle/data-integration

[root&＃64;localhost data-integration]#

执行做业

通常用kitchen.sh便可&＃xff0c;转换建议包裹一个做业async

数据库资源库执行的命令&＃xff0c;注意要指定目录和做业名称.net

./kitchen.sh -rep&＃61;192.168.137.1 -user&＃61;admin -pass&＃61;admin -dir&＃61;"/lotestasync" -listjobs

./kitchen.sh -rep&＃61;192.168.137.1 -user&＃61;admin -pass&＃61;admin -dir&＃61;"/lotestasync" -job&＃61;"test1"

加入定时执行

kettle任务配置是支持定时执行的&＃xff0c;可是这样的问题在于kettle应用程序会一直停留在前台&＃xff0c;会致使内存溢出等问题rest

因此建议使用linux的crontab或者spring quartz定时器日志

演示crontab的例子&＃xff1a;

定时执行的脚本

必须加source&＃xff0c;定时任务不识别环境变量

日志文件10MB以后新建一个

[root&＃64;localhost .kettle]# cat cron_test1.sh

#!/bin/sh

source ~/.bash_profile

source /etc/profile

filename&＃61;/root/.kettle/test.log

filesize&＃61;&＃96;ls -l $filename | awk &＃39;{ print $5 }&＃39;&＃96;

maxsize&＃61;$((1024*1024*10))

if [ $filesize -gt $maxsize ]

then

mv /root/.kettle/test.log /root/.kettle/test"&＃96;date &＃43;%Y-%m-%d_%H:%M:%S&＃96;".log

fi

/opt/kettle/data-integration/kitchen.sh -rep&＃61;192.168.137.1 -user&＃61;admin -pass&＃61;admin -dir&＃61;"/lotestasync" -job&＃61;"test1" -level&＃61;Rowlevel>>/root/.kettle/test.log

使用crontab - 每分钟执行

[root&＃64;localhost .kettle]# crontab -l

*/1 * * * * /root/.kettle/cron_test1.sh

[root&＃64;localhost .kettle]#

重启服务

service crond restart

若是是写入数据库的日志&＃xff0c;就要在做业中配置数据库日志连接