我有一个大的数据框（约3000万行）。我有一个功能f。要做的事情f是遍历每一行，检查一些逻辑并将输出馈送到字典中。该功能需要逐行执行。
我试过了：
dic = dict()
for row in df.rdd.collect():
f(row, dic)
但是我总是遇到错误OOM。我将Docker的内存设置为8GB。
如何有效开展业务？
非常感谢
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有