【FAQ】集群训练与预测相关问题汇总

导语

在使用指南的最后一部分&＃xff0c;我们汇总了使用PaddlePaddle过程中的常见问题&＃xff0c;本部分推文目录如下&＃xff1a;

2.22&＃xff1a;【FAQ】模型配置相关问题汇总

2.23&＃xff1a;【FAQ】参数设置相关问题汇总

2.24&＃xff1a;【FAQ】本地训练与预测相关问题汇总

2.25&＃xff1a;【FAQ】集群训练与预测相关问题汇总

2.26&＃xff1a;如何贡献代码

2.27&＃xff1a;如何贡献文档

集群训练与预测相关问题汇总

|1.集群多节点训练&＃xff0c;日志中保存均为网络通信类错误

集群多节点训练&＃xff0c;日志报错为网络通信类错误&＃xff0c;比如 Connection reset by peer 等。 此类报错通常是由于某一个节点的错误导致这个节点的训练进程退出&＃xff0c;从而引发其他节点无法连接导致&＃xff0c;可以参考下面的步骤排查&＃xff1a;

• 从 train.log &＃xff0c; server.log 找到最早报错的地方&＃xff0c;查看是否是其他错误引发的报错&＃xff08;比如FPE&＃xff0c;内存不足&＃xff0c;磁盘空间不足等&＃xff09;。

• 如果发现最早的报错就是网络通信的问题&＃xff0c;很有可能是非独占方式执行导致的端口冲突&＃xff0c;可以联系OP&＃xff0c;看当前MPI集群是否支持resource&＃61;full参数提交&＃xff0c;如果支持增加此参数提交&＃xff0c;并更换job 端口。

• 如果当前MPI集群并不支持任务独占模式&＃xff0c;可以联系OP是否可以更换集群或升级当前集群。

|PS

集群训练与预测相关FAQ较少&＃xff0c;点击导语推文目录查看其它部分FAQ&＃xff0c;点击阅读原文访问Github Issue。

为了方便大家问题的跟进解决&＃xff0c;我们采用Github Issue来采集信息和追踪进度。大家遇到问题请搜索Github Issue&＃xff0c;问题未解决请优先在Github Issue上提问&＃xff0c;有助于问题的积累和沉淀。

 end

*原创贴&＃xff0c;版权所有&＃xff0c;未经许可&＃xff0c;禁止转载

*值班小Paddle&＃xff1a;wangp

*欢迎在留言区分享您的观点

 点击“阅读原文”&＃xff0c;访问Github Issue。