作者:潇洒嘉新 | 来源:互联网 | 2023-06-15 21:16
篇首语:本文由编程笔记#小编为大家整理,主要介绍了FlinkFlink The rpc invocation size %d exceeds the maximum akka framesize相关的
篇首语:本文由编程笔记#小编为大家整理,主要介绍了FlinkFlink The rpc invocation size %d exceeds the maximum akka framesize相关的知识,希望对你有一定的参考价值。
文章目录
1.概述
flink 1.10 作业在出错重启的过程中,jobmanager一直报 the rpc invocation size exceeds the maximum akka framesize
的错误
看了一下,这个方法是进行rpc远程调用的时候,序列化对象的大小超过了长度,但是我不是很明白,如果超过了这个长度,不是应该第一次启动的时候都不行吗?我设置的并行度是10,如果启动成功,会启动10个taskmanager,而且启动另外9个taskmanager都没有错,启动第10个的时候就会报错。
我是基于yarn来运行的。每个taskmanager一个slot。
2.源码分析
首先找到报错位置org.apache.flink.runtime.rpc.akka.AkkaInvocationHandler#createRpcInvocationMessage
protected RpcInvocation createRpcInvocationMes