AMiner推荐论文：ASurveyonGreenDeepLearning

论文链接&＃xff1a;
https://www.aminer.cn/pub/618b38575244ab9dcb710ee4?f&＃61;cs
近年来&＃xff0c;更大、更深度的模型层出不穷&＃xff0c;并不断推动各种领域(如自然语言处理(NLP)和计算机视觉(CV))的最先进(SOTA)结果。然而&＃xff0c;尽管有很好的结果&＃xff0c;但需要注意的是&＃xff0c;SOTA模型所需的计算是以指数速度增长的。大规模计算不仅会产生惊人的巨大碳足迹&＃xff0c;而且还会对研究的包容性和现实应用的部署产生负面影响。绿色深度学习是一个日益热门的研究领域&＃xff0c;呼吁研究者关注模型训练和推理过程中的能源使用和碳排放问题。目标是用轻量化和高效的技术产生新的结果。许多技术可以用来实现这一目标&＃xff0c;如模型压缩和知识蒸馏。本文对绿色深度学习技术的发展进行了系统的综述。我们将这些方法分为四类:(1)紧凑的网络&＃xff0c;(2)高效的训练策略&＃xff0c;(3)高效的推理方法&＃xff0c;(4)高效的数据使用。对于每一类&＃xff0c;我们都讨论已经取得的进展和尚未解决的挑战。
AMiner,让AI帮你理解科学&＃xff01;https://www.aminer.cn