作者:33今夜无眠44 | 来源:互联网 | 2023-12-10 18:05
本文讨论了如何避免气流任务优先级问题,当任务出现问题时如何确保后续任务能够正常执行。作者提出了使用Pools来连接工作流的方式,并介绍了利用BaseOperator的execution_timeout自变量来实现任务超时的方法。通过这些方法,可以有效解决气流任务优先级问题,确保任务的正常执行。
我有6个任务(t1,t2,t3,t4,t5和t6)同时运行。
这些任务的运行方式为t1 >> t2 >> t3 >> t4 >> t5 >> t6
在某个时刻t3出现问题,然后t4未被执行,或者任何任务出现问题,随后的任务没有得到执行。
请让我知道如何避免此问题。我不希望其他任务等待较早的任务完成。如果较早的任务未在5分钟内完成,则应跳过。
连接工作流的方式不符合您的要求。