PaddlePaddleeval后报错terminatealltheprocs的解决方法

问题背景&＃xff1a;

用paddle做ocr识别训练&＃xff0c;每隔一段时间后的训练&＃xff0c;会自动评估&＃xff08;eval&＃xff09;一次&＃xff0c;之前都好好的&＃xff0c;训练一整晚都不会报错。
结果打美赛打了5天之后再弄&＃xff0c;就出现了一些奇奇怪怪的错误。

问题重述&＃xff1a;

问题简洁明了&＃xff0c;发生在评估之后&＃xff0c;直接告诉你0号显卡进程终止。没有任何错误提示。就连log里面也没写什么有用的东西。

模型建立&＃xff1a;

解决之路&＃xff1a;

最开始怀疑是用了LMDB数据集的问题&＃xff0c;重新用回了简单数据集&＃xff0c;还是报错。

怀疑是数据集出bug了&＃xff0c;换了个少一点的测试集&＃xff0c;问题没能解决。

美赛期间安装了很多python库&＃xff0c;怀疑是版本不兼容。重装了numpy、opencv等&＃xff0c;没有解决问题。然后我重装了paddle&＃xff0c;也没能解决问题。

----------------------------------------------情绪失控分割线-------------------------------------------------------

找了很多别的办法&＃xff0c;都没能解决问题。这个时候偶然发现&＃xff0c;我的C盘满了。
我&＃xff1a;&＃xff1f;
本来还有18多个G&＃xff0c;怎么突然满了。我运行了系统盘自动清理程序&＃xff0c;腾出来2个G&＃xff0c;还有16个G不知道被谁吃了。
找了好久&＃xff0c;罪魁祸首终于被我揪出来了&＃xff1a;

是python的错误报告文件&＃xff0c;一个就1.6个G&＃xff0c;好家伙这个文件夹里有10个。

一看时间&＃xff0c;就是我刚刚我调试产生的。我好奇的打开它看了一下。&＃xff08;恰巧我电脑有Visual Studio&＃xff09;
然后找到了问题原因。

大概意思是&＃xff0c;线程访问了一个地址&＃xff0c;而这个地址不让它访问&＃xff0c;于是线程就崩溃了。
然后我用管理员权限打开cmd运行eval&＃xff0c;还是没能解决问题。

----------------------------------------------绝望分割线-------------------------------------------------------

吃了个午饭回来接着debug。一个1.6G的错误报告不应该只有这些信息。观察了一下VS&＃xff0c;发现了这个按钮&＃xff1a;

启动后&＃xff0c;系统加载了发生错误时的模块&＃xff0c;直到出现了一个异常&＃xff1a;

未经处理的异常发生在动态链接库msvcp110.dll中&＃xff0c;就是它&＃xff1a;

注意文件大小604KB
由于我用的Utools的everything搜索&＃xff0c;同时还能看到好多其他msvcp110.dll文件

他们的大小居然不一样&＃xff1f;
我找了一个大一点的&＃xff08;也许是功能全的新版本&＃xff09;&＃xff0c;复制进system32文件夹内当做新的msvcp110.dll&＃xff08;注意源文件备份&＃xff09;

然后进行了eval&＃xff0c;
问题解决了。