为什么Spark提交脚本spark-submit忽略`--num-executors`？

我们在YARN下运行了Spark 1.0.0，--num-executors似乎并没有增加执行器或节点的数量。我说我想要8，但是我通常以3到5结尾。输出中没有错误，这是我期望节点处于关闭状态且无法与之对话的结果。

注意：如果您不是在YARN下运行，则num-executors将被忽略，例如spark独立模式。请参阅接受的答案以获取解决方案和评论。

更新：如果我要X资源，我想要X资源，如果我不能拥有X资源，我想被放在队列中或给出某种错误消息。这是因为如果我没有X资源，我的工作就会失败-我知道在工作失败之前我需要多少资源。我不想在我的工作上实现任何额外的层来检查将要给我多少执行者和节点，以便它可以在任务自行炸毁之前优雅地终止该工作。因此，问题的第二部分是“ 1）是否有办法告诉YARN / Spark如果我无法获得想要的执行程序而失败？2）强制停止YARN在同一节点上放置多个执行程序”

（在0.9.0中，这不是问题，N个节点意味着N个工人和工作将排队）