9/17Duallearning

深度学习之所以取得成功&＃xff0c;一个非常重要的因素是大数据&＃xff08;大规模的带标签的数据&＃xff09;

首先&＃xff0c;人工标注获取标签的代价很高。

其次&＃xff0c;在很多任务中&＃xff0c;我们没办法收集到大规模的标注数据&＃xff0c;例如在医疗中。

为了使深度学习能够取得更广泛的成功&＃xff0c;我们需要降低其对大规模标注数据的依赖性。为了解决这个问题&＃xff0c;我们提出了一种新的学习范式&＃xff0c;我们把它称作对偶学习。 

很多人工智能的应用涉及两个互为对偶的任务&＃xff0c;例如机器翻译中从中文到英文翻译和从英文到中文的翻译互为对偶、这些互为对偶的人工智能任务可以形成一个闭环&＃xff0c;使从没有标注的数据中进行学习成为可能。

对偶学习的最关键一点在于&＃xff0c;给定一个原始任务模型&＃xff0c;其对偶任务的模型可以给其提供反馈&＃xff1b;同样的&＃xff0c;给定一个对偶任务的模型&＃xff0c;其原始任务的模型也可以给该对偶任务的模型提供反馈&＃xff1b;从而这两个互为对偶的任务可以相互提供反馈&＃xff0c;相互学习、相互提高。

考虑一个对偶翻译游戏&＃xff0c;里面有两个玩家小明和爱丽丝&＃xff0c;如下图所示。小明只能讲中文&＃xff0c;爱丽丝只会讲英文&＃xff0c;他们两个人一起希望能够提高英文到中文的翻译模型f和中文到英文的翻译模型g。给定一个英文的句子x&＃xff0c;爱丽丝首先通过f把这个句子翻译成中文句子y1&＃xff0c;然后把这个中文的句子发给小明。因为没有标注&＃xff0c;所以小明不知道正确的翻译是什么&＃xff0c;但是小明可以知道&＃xff0c;这个中文的句子是不是语法正确、符不符合中文的语言模型&＃xff0c;这些信息都能帮助小明大概判断翻译模型f是不是做的好。然后小明再把这个中文的句子y1通过翻译模型g翻译成一个新的英文句子x1&＃xff0c;并发给爱丽丝。通过比较x和x1是不是相似&＃xff0c;爱丽丝就能够知道翻译模型f和g是不是做得好&＃xff0c;尽管x只是一个没有标注的句子。因此&＃xff0c;通过这样一个对偶游戏的过程&＃xff0c;我们能够从没有标注的数据上获得反馈&＃xff0c;从而知道如何提高机器学习模型。

实际上这个对偶游戏和强化学习的过程比较类似。在强化学习中&＃xff0c;我们希望提高我们的策略以最大化长远的回报&＃xff0c;但是没有标注的样本告诉我们在某个状态x哪个动作y是正确的。我们只有通过使用这个策略在不同的状态下执行不同的动作&＃xff0c;观测该动作带来的回报&＃xff0c;从而改善我们的策略。在以上这个翻译对偶游戏中&＃xff0c;两个翻译模型就是我们的策略&＃xff0c;因为没有标注的双语句对&＃xff0c;所以我们不能直接改善它们。这个对偶游戏把一个没有标注的句子x&＃xff0c;先翻译成另外一种语言的句子y1&＃xff0c;再翻译回来为x1&＃xff0c;这里x就是强化学习中的状态&＃xff0c;y1和x1就是我们的策略所执行的动作&＃xff0c;x和x1的相似度就是我们获得的回报。

我们可以用已有的强化学习的算法来训练我们这两个翻译模型&＃xff0c;比如策略梯度方法。策略梯度方法的基本思想非常简单&＃xff1a;如果我们在执行某个动作之后&＃xff0c;观测到了一个很大的回报&＃xff0c;我们就通过调整策略&＃xff08;在当前策略函数的参数上加上它的梯度&＃xff09;来增加这个状态下执行这个动作的概率&＃xff1b;相反&＃xff0c;如果我们在执行某个动作之后&＃xff0c;观测到了一个很小的回报&＃xff0c;甚至是负的回报&＃xff0c;那么我们就需要调整策略&＃xff08;在当前策略函数的参数上减去它的梯度&＃xff09;&＃xff0c;以降低在这个状态下执行这个动作的概率。

 对偶学习&＃xff08;dual learning&＃xff09;和已有的学习范式有很大的不同。首先&＃xff0c;监督学习&＃xff08;supervised learning&＃xff09;只能从标注的数据进行学习&＃xff0c;只涉及一个学习任务&＃xff1b;而对偶学习涉及至少两个学习任务&＃xff0c;可以从未标注的数据进行学习。其次&＃xff0c;半监督学习&＃xff08;semi-supervised learning&＃xff09;尽管可以对未标注的样本生成伪标签&＃xff0c;但无法知道这些伪标签的好坏&＃xff0c;而对偶学习通过对偶游戏生成的反馈&＃xff08;例如对偶翻译中x和x1的相似性&＃xff09;能知道中间过程产生的伪标签&＃xff08;y1&＃xff09;的好坏&＃xff0c;因而可以更有效地利用未标注的数据。我们甚至可以说&＃xff0c;对偶学习在某种程度上是把未标注的数据当作带标签的数据来使用。第三&＃xff0c;对偶学习和多任务学习&＃xff08;multi-task learning&＃xff09;也不相同。尽管多任务学习也是同时学习多个任务共的模型&＃xff0c;但这些任务必须共享相同的输入空间&＃xff0c;而对偶学习对输入空间没有要求&＃xff0c;只要这些任务能形成一个闭环系统即可。第四&＃xff0c;对偶学习和迁移学习&＃xff08;transfer learning&＃xff09;也很不一样。迁移学习用一个或多个相关的任务来辅助主要任务的学习&＃xff0c;而在对偶学习中&＃xff0c;多个任务是相互帮助、相互提高&＃xff0c;并没有主次之分。