深度学习的几何学解释

ref:http://www.engineering.org.cn/ch/10.1016/j.eng.2019.09.010

雷娜 , 安东生, 郭洋, 苏科华, 刘世霞, 罗钟铉, 丘成桐, 顾险峰

摘要

本文从几何角度来理解深度学习&＃xff0c;特别是提出了生成对抗网络&＃xff08;GAN&＃xff09;的最优传输&＃xff08;OT&＃xff09;观点。自然数据集具有内在的模式&＃xff0c;该模式可被概括为流形分布原理&＃xff0c;即同一类高维数据分布于低维流形附近。 GAN主要完成流形学习和概率分布变换两项任务。其中&＃xff0c;后者可以用经典的OT方法来实现。从OT的角度来看&＃xff0c;生成器用于计算OT映射&＃xff0c;而判别器用于计算生成数据分布与真实数据分布之间的Wasserstein距离&＃xff1b;两者都可以归结为一个凸优化过程。此外&＃xff0c; OT理论揭示了生成器与判别器之间的内在关系是协作的而不是竞争的&＃xff0c;并且解释了模式崩溃的根本原因。在此基础上&＃xff0c;我们提出了一种新的生成模型&＃xff0c;该模型利用自编码器&＃xff08;AE&＃xff09;进行流形学习&＃xff0c;并利用OT映射进行概率分布变换。这个AE-OT模型提升了深度学习理论的严谨性和透明性、提高了计算的稳定性和效率&＃xff0c;尤其是避免了模式崩溃问题。实验结果验证了我们的假设&＃xff0c;并充分展示了我们提出的AE-OT模型的优点。

关键词

生成&＃xff0c;对抗&＃xff0c;深度学习&＃xff0c;最优传输&＃xff0c;模式崩溃