热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

手工自动重跑kettle报错Job

需求如下:每天kettleJob调度可能报错一大堆,为了重跑报错Job,又不能一次全部执行报错Job(服务器负载过大,导致每个Job执行时间变长,甚至报错不能分配内存错误),必须等一些Job执

需求如下:每天kettle Job调度可能报错一大堆,为了重跑报错Job,又不能一次全部执行报错Job(服务器负载过大,导致每个Job执行时间变长,甚至报错不能分配内存错误),必须等一些Job执行完毕后再执行,浪费睡觉时间,咱们可以写脚本,早上起来发现报错后,执行脚本,然后就可以去继续睡觉了。
脚本如下:

#!/bin/ksh
#job执行的2个日期参数
CurDay=`date +%Y%m%d`
LastDay=`date -d yesterday +%Y%m%d`
#job限制上限
JobLimit=5
#错误job名称存放文件
JobFile="/home/kettle/Job/errorjob"
#日志文件
LogDir="/home/kettle/log/Rerun"
LogFile="${LogDir}/LoopRerunErrorJob_$(date +%Y%m%d%H%M%S).log"

#记日志
Log(){
    CurDate=`date +"%Y-%m-%d %H:%M:%S"`
    echo "INFO ${CurDate} $1" >> $LogFile
}

while read line || [[ -n $line ]]
do
    typeset -L v1=$line
    typeset -R v2=$v1
    line=$v2
    Aline="${Aline} ${line}"
    #echo $Aline
done<"$JobFile"

Log $Aline

Array=($Aline)
ArrLen=${#Array[@]}
Log "Error Jobs Numbers:${ArrLen}"

i=0
while (( $i <${ArrLen} ))
do
    JobCnt=`ps aux|grep "IncStart=${LastDay} -param:IncEnd=${CurDay}"|grep -v grep|grep -v Load|wc -l`
    if [ JobCnt -lt ${JobLimit} ]
    then
        Log "sh /home/kettle/bin/RunKettleJob.sh ${Array[i]} ${LastDay} ${CurDay}"
        sh /home/kettle/bin/RunKettleJob.sh ${Array[i]} ${LastDay} ${CurDay} &
        sleep 10
        (( i=i+1 ))
    else
        Log "Wait 1.5 min..."
        sleep 90

    fi
    Log "i=$i"
done

推荐阅读
  • 360SRC安全应急响应:从漏洞提交到修复的全过程
    本文详细介绍了360SRC平台处理一起关键安全事件的过程,涵盖从漏洞提交、验证、排查到最终修复的各个环节。通过这一案例,展示了360在安全应急响应方面的专业能力和严谨态度。 ... [详细]
  • 本文深入探讨了Linux系统中网卡绑定(bonding)的七种工作模式。网卡绑定技术通过将多个物理网卡组合成一个逻辑网卡,实现网络冗余、带宽聚合和负载均衡,在生产环境中广泛应用。文章详细介绍了每种模式的特点、适用场景及配置方法。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • 深入探讨CPU虚拟化与KVM内存管理
    本文详细介绍了现代服务器架构中的CPU虚拟化技术,包括SMP、NUMA和MPP三种多处理器结构,并深入探讨了KVM的内存虚拟化机制。通过对比不同架构的特点和应用场景,帮助读者理解如何选择最适合的架构以优化性能。 ... [详细]
  • 微软Exchange服务器遭遇2022年版“千年虫”漏洞
    微软Exchange服务器在新年伊始遭遇了一个类似于‘千年虫’的日期处理漏洞,导致邮件传输受阻。该问题主要影响配置了FIP-FS恶意软件引擎的Exchange 2016和2019版本。 ... [详细]
  • 本文介绍如何在现有网络中部署基于Linux系统的透明防火墙(网桥模式),以实现灵活的时间段控制、流量限制等功能。通过详细的步骤和配置说明,确保内部网络的安全性和稳定性。 ... [详细]
  • 优化局域网SSH连接延迟问题的解决方案
    本文介绍了解决局域网内SSH连接到服务器时出现长时间等待问题的方法。通过调整配置和优化网络设置,可以显著缩短SSH连接的时间。 ... [详细]
  • 本文深入探讨了 Redis 的两种持久化方式——RDB 快照和 AOF 日志。详细介绍了它们的工作原理、配置方法以及各自的优缺点,帮助读者根据具体需求选择合适的持久化方案。 ... [详细]
  • 通过Web界面管理Linux日志的解决方案
    本指南介绍了一种利用rsyslog、MariaDB和LogAnalyzer搭建集中式日志管理平台的方法,使用户可以通过Web界面查看和分析Linux系统的日志记录。此方案不仅适用于服务器环境,还提供了详细的步骤来确保系统的稳定性和安全性。 ... [详细]
  • 科研单位信息系统中的DevOps实践与优化
    本文探讨了某科研单位通过引入云原生平台实现DevOps开发和运维一体化,显著提升了项目交付效率和产品质量。详细介绍了如何在实际项目中应用DevOps理念,解决了传统开发模式下的诸多痛点。 ... [详细]
  • 深入解析Redis内存对象模型
    本文详细介绍了Redis内存对象模型的关键知识点,包括内存统计、内存分配、数据存储细节及优化策略。通过实际案例和专业分析,帮助读者全面理解Redis内存管理机制。 ... [详细]
  • 本文详细介绍了如何通过RPM包在Linux系统(如CentOS)上安装MySQL 5.6。涵盖了检查现有安装、下载和安装RPM包、配置MySQL以及设置远程访问和开机自启动等步骤。 ... [详细]
  • 本文详细介绍了优化DB2数据库性能的多种方法,涵盖统计信息更新、缓冲池调整、日志缓冲区配置、应用程序堆大小设置、排序堆参数调整、代理程序管理、锁机制优化、活动应用程序限制、页清除程序配置、I/O服务器数量设定以及编入组提交数调整等方面。通过这些技术手段,可以显著提升数据库的运行效率和响应速度。 ... [详细]
  • 版本控制工具——Git常用操作(下)
    本文由云+社区发表作者:工程师小熊摘要:上一集我们一起入门学习了git的基本概念和git常用的操作,包括提交和同步代码、使用分支、出现代码冲突的解决办法、紧急保存现场和恢复 ... [详细]
  • 本文探讨了如何优化和正确配置Kafka Streams应用程序以确保准确的状态存储查询。通过调整配置参数和代码逻辑,可以有效解决数据不一致的问题。 ... [详细]
author-avatar
life-death-swallow_204
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有