Flink各种提交作业方式的区别

Flink 应用程序的作业可以被提交到长期运行的 Flink Session 集群、专用的 Flink Job 集群 或 Flink Application 集群。这些选项之间的差异主要与集群的生命周期和资源隔离保证有关。

• 集群生命周期&＃xff1a;在 Flink Session 集群中&＃xff0c;客户端连接到一个预先存在的、长期运行的集群&＃xff0c;该集群可以接受多个作业提交。即使所有作业完成后&＃xff0c;集群&＃xff08;和 JobManager&＃xff09;仍将继续运行直到手动停止 session 为止。因此&＃xff0c;Flink Session 集群的寿命不受任何 Flink 作业寿命的约束。
  示例&＃xff1a;pandas 是基于NumPy 的一种工具&＃xff0c;该工具是为了解决数据分析任务而创建的。
• 资源隔离&＃xff1a;TaskManager slot 由 ResourceManager 在提交作业时分配&＃xff0c;并在作业完成时释放。由于所有作业都共享同一集群&＃xff0c;因此在集群资源方面存在一些竞争 — 例如提交工作阶段的网络带宽。此共享设置的局限性在于&＃xff0c;如果 TaskManager 崩溃&＃xff0c;则在此 TaskManager 上运行 task 的所有作业都将失败&＃xff1b;类似的&＃xff0c;如果 JobManager 上发生一些致命错误&＃xff0c;它将影响集群中正在运行的所有作业。
• 其他注意事项&＃xff1a;拥有一个预先存在的集群可以节省大量时间申请资源和启动 TaskManager。有种场景很重要&＃xff0c;作业执行时间短并且启动时间长会对端到端的用户体验产生负面的影响 — 就像对简短查询的交互式分析一样&＃xff0c;希望作业可以使用现有资源快速执行计算。

Flink Session 集群也被称为 session 模式下的 Flink 集群。

• 集群生命周期&＃xff1a;在 Flink Job 集群中&＃xff0c;可用的集群管理器&＃xff08;例如 YARN&＃xff09;用于为每个提交的作业启动一个集群&＃xff0c;并且该集群仅可用于该作业。在这里&＃xff0c;客户端首先从集群管理器请求资源启动 JobManager&＃xff0c;然后将作业提交给在这个进程中运行的 Dispatcher。然后根据作业的资源请求惰性的分配 TaskManager。一旦作业完成&＃xff0c;Flink Job 集群将被拆除。
• 资源隔离&＃xff1a;JobManager 中的致命错误仅影响在 Flink Job 集群中运行的一个作业。
• 其他注意事项&＃xff1a;由于 ResourceManager 必须应用并等待外部资源管理组件来启动 TaskManager 进程和分配资源&＃xff0c;因此 Flink Job 集群更适合长期运行、具有高稳定性要求且对较长的启动时间不敏感的大型作业。

Flink Job 集群也被称为 job (or per-job) 模式下的 Flink 集群。

• 集群生命周期&＃xff1a;Flink Application 集群是专用的 Flink 集群&＃xff0c;仅从 Flink 应用程序执行作业&＃xff0c;并且 main()方法在集群上而不是客户端上运行。提交作业是一个单步骤过程&＃xff1a;无需先启动 Flink 集群&＃xff0c;然后将作业提交到现有的 session 集群&＃xff1b;相反&＃xff0c;将应用程序逻辑和依赖打包成一个可执行的作业 JAR 中&＃xff0c;并且集群入口&＃xff08;ApplicationClusterEntryPoint&＃xff09;负责调用 main()方法来提取 JobGraph。例如&＃xff0c;这允许你像在 Kubernetes 上部署任何其他应用程序一样部署 Flink 应用程序。因此&＃xff0c;Flink Application 集群的寿命与 Flink 应用程序的寿命有关。
• 资源隔离&＃xff1a;在 Flink Application 集群中&＃xff0c;ResourceManager 和 Dispatcher 作用于单个的 Flink 应用程序&＃xff0c;相比于 Flink Session 集群&＃xff0c;它提供了更好的隔离。

Flink Job 集群可以看做是 Flink Application 集群”客户端运行“的替代方案。