transexual?,transend

资料来源： http://chuansong.me/n/2553541

为什么我们要关注学习这个问题呢？ 可以看到关于机器学习的重要公式。 这个公式由三个部分构成。 第一部分是数据或问题的表示。 根据显示设计或构建目标。 也就是说，要实现什么样的目标？ 设定目标后，开始看如何实现这个目标是优化的过程。 对于机器学习来说，表示是这三个环节中最基础的部分，也是我们为什么要关注它的重要原因。 对于自然语言处理和多媒体处理，所处理的数据是典型的非结构化数据。 为了使计算机能更好地智能处理这些数据，如何更好地显示是一个重要的问题。

学习是什么呢？ 在自然语言处理中，经常使用1-hot Representation这个表达。 每个词都可以表达为一个非常长的向量。 这个向量的长度是词汇量。 例如，如果中文普通词有6000个，则可以将每个词表示为6000维的向量。 对各词对应的向量采用一维为1，其他维为0，可以将人类语言的所有词自然地表示为一个向量，计算机可以很好地区分一个词和另一个词。 这个方法非常简单，应用也非常广泛，比如在搜索引擎百度、Google上，输入搜索词，基本的想法是匹配哪些文档中出现了这些搜索词。 其背后的本质是，每一个词都用一个唯一的符号来表示。 但是，这种方法面临着很大的问题。 正如你所看到的，其实很多词彼此有着非常丰富的语义联系。 例如，star和sun，一个是星星，一个是太阳，虽然它们是不同的语言，但有着密切的语义联系。 但是，计算机将它们表示为两个独立的向量，忽略了它们之间的语义关系。 这就是我们想通过表达学习解决的问题。

表示学习的基本思路是，提出所谓的Distributed Representation，或者Embedding，利用低维的向量空间，将各词表示在空间内的某个位置。 这样，利用词和词之间在这个空间中的距离，可以测定词和词的语义关系。 这表示学习的基本目标。

学习的基础是什么？ 为什么我能做这件事？ 其实正如刚才幸福蝴蝶说的，这和人脑有着非常密切的关联。 人脑有什么特征？ 第一个特征是人脑中的信号是通过生物电或化学电传递的，这是一个非常缓慢的过程。 但我们也知道，人脑与计算机相比，信号速度较慢，但认知能力非常强。 例如，我们可以快速识别一张中哪个部分是老虎，哪个部分是草坪等。 但是，对计算机来说，实现这种认知能力是非常困难的。 二是与计算机相比，人脑是一种功耗非常低的装置。 也就是说，对人脑来说，我们每天只吃几顿饭就能全天工作，但对计算机来说，普通计算机每天消耗的能量比人脑多。 因此，人脑的工作原理非常值得学习。 那么，人脑有什么重要的机制呢？

我们的现实世界是离散的世界，这个世界中的各物体相互独立，有比较明确的边界，所以可以称为离散的世界。 但是，人脑表示这些物体时，表示被许多神经元抑制和激活的状态。 也就是说，在神经元上不同的抑制和激活状态下表示不同的物体。 因此，虽然现实世界是离散的世界，但在人脑的认知世界中，都表示在连续的空间中。 从这个角度来看，刚才所述的低维矢量表现，各个维度可以看作是人脑的神经元。

现实世界具有非常强的层次性。 例如，人有头、四肢、身体，头可以分为头发、眉毛、五感等。 在认知世界中，也对应着这种层次性，即神经网络的层次结构的存在。 现在非常普及的深度学习技术，通过引入“深度”的层次结构，带来了很多任务性能的革命性提高。

因此，人脑的这两个特征对应于表示学习的两个特征，这两个特征，第一，是使用方差表现来表现现实世界的对象，也就是使用连续空间表现的对象。 第二，运用深层多层神经网络实现现实世界的分层建模也是表示学习的重要思想。

可以说，这表明学习有非常强的认知基础。 另外，对于自然语言处理，也具有十分重要的现实意义，主要表现在两个方面。 第一，大规模的自然语言处理面临着很强的数据稀疏问题，传统方法不能很好地解决。 通过构造低维矢量表示空间，将所有对象映射到这个空间中，利用这个空间的连续性可以很好地处理数据稀疏问题。 另一个好处是可以实现不同领域和不同对象之间的知识转移。 在自然语言处理中，从最基础的词到句子、文档、知识，关注的对象非常多，如何更好地计算它们之间的语义关联呢？ 例如给你句子或文件，你怎么判断他们的意思关系？ 对传统的自然语言处理来说，这是非常困难的。 通过将这些对象映射到统一的空间，可以非常容易地计算它们之间的语义关系。 因此，对于自然语言处理，学习是一项非常重要的技术，也是近年来自然语言处理领域非常关注的方向。 深度学习技术是这个领域的重要代表。 今天因为时间的关系，不能介绍展示在自然语言处理的各个方面的学习的应用。 这里以知识表示学习为例，简单介绍最新进展。

知识地图是一种特殊的网络，每个节点表示现实世界的实体，节点之间的边表示实体之间的关系。 知识图谱一般以三元组的形式组织知识，每个三元组包括头实体、尾实体以及它们之间的关系。 这是知识地图的基本表现。 有两个代表性的知识地图。 一个是语言知识图谱WordNet，包含英语单词和单词的同义、反义词、上下位等关系

传统的知识图谱表示方式是基于RDF的三元组，相当于把每一个实体和关系都表示成独一无二的符号。这种方法与one-hot representation类似无法很好地利用或计算实体之间的语义关系。例如，野性的发卡和虚心的酸奶都是IT里面非常有名的人物，但是在知识图谱中用两个独一无二的符号表示，因此无法很好地计算它们之间的语义关系。因此我们希望通过表示学习来解决这个问题。如果能做到这一点，将能够更好地利用知识图谱中的知识。

现在主要介绍知识表示学习的一个最简单也是最有效的方案，叫TransE。在这个模型中，每个实体和关系都表示成低维向量。那么如何怎么学习这些低维向量呢？我们需要设计一个学习目标，这个目标就是，给定任何一个三元组，我们都将中间的relation看成是从head到tail的一个翻译过程，也就是说把head的向量加上relation的向量，要让它尽可能地等于tail向量。在学习过程中，通过不断调整、更新实体和关系向量的取值，使这些等式尽可能实现。这里面会有非常多技术实现细节，这里面就不作太多讲解，大家如果感兴趣可以去阅读相关论文。

这些实体和关系的表示可以用来做什么呢？一个直观的应用就是Entity Prediction（实体预测）。就是说，如果给一个head entity，再给一个relation，那么可以利用刚才学到的向量表示，去预测它的tail entity可能是什么。思想非常简单，直接把h + r，然后去找跟h + r向量最相近的tail向量就可以了。实际上，我们也用这个任务来判断不同表示模型的效果。我们可以看到，以TransE为代表的翻译模型，需要学习的参数数量要小很多，但同时能够达到非常好的预测准确率。

这里举一些例子。首先，利用TransE学到的实体表示，我们可以很容易地计算出跟某个实体最相似的实体。大家可以看到，关于中国、奥巴马、苹果，通过TransE向量得到的相似实体能够非常好地反映这些实体的关联。

如果已知head entity和relation，我们可以用TransE模型判断对应的tail entity是什么。比如说与中国相邻的国家或者地区，可以看到比较靠前的实体均比较相关。比如说奥巴马曾经入学的学校，虽然前面的有些并不准确，但是基本上也都是大学或教育机构。

如果同时知道heat entity和tail entity，我们也可以用TransE模型判断它们之间的关系。例如奥巴马和哥伦比亚大学之间就是一个入学学校的关系。这表明 TransE能够得到比较好的预测效果。

刚才我们简单介绍了TransE很有意思的性能，但是TransE也有自身的缺陷，这里我们简单总结TransE面临的若干挑战，以及在这些方面的最新研究进展。

首先，很多情况下TransE关于h + r=t的假设其实本身并不符合实际。为什么呢？假如头实体是美国，关系是总统，而美国总统其实有非常多，我们拿出任意两个实体来，比如奥巴马和布什，这两个人都可以跟USA构成同样的关系。在这种情况下，对这两个三元组学习TransE模型，就会发现，它倾向于让奥巴马和布什在空间中变得非常接近。而这其实不太符合常理，因为奥巴马和布什虽然都是美国总统，但是在其他方面有千差万别。这其实就是涉及到复杂关系的处理问题，即所谓的1对N，N对1、N对N这些关系。刚才例子就是典型的1对N关系，就是一个USA可能会对应多个tail entity。为了解决TransE在处理复杂关系时的不足，研究者提出很多扩展模型，基本思想是，首先把实体按照关系进行映射，然后与该关系构建翻译等式。

TransH和TransR均为代表扩展模型之一，其中TransH由MSRA研究者提出，TransR由我们实验室提出。可以看到，TransE在实体预测任务能够达到47.1的准确率，而采用TransH和TransR，特别是TransR可以达到20%的提升。对于知识图谱复杂关系的处理，还有很多工作需要做。这里只是简介了一些初步尝试。

对于TransH和TransR的效果我们给出一些例子。比如对于《泰坦尼克号》电影，想看它的电影风格是什么，TransE得到的效果比TransH和TransR都要差一些。再如剑桥大学的杰出校友有哪些？我们可以看到对这种典型的1对N关系，TransR和TransH均做得更好一些。

人类知识除了在知识图谱中，更多地蕴藏在大量的互联网文本中。如何把文本信息与知识图谱信息结合起来，更好地实现知识表示，是一个重要的挑战问题。其实如何从文本中抽取知识，是自然语言处理的重要研究任务，其基本思想是寻找两个实体共同出现的文本，然后从这些文本中抽取特征，用来判断实体间的关系。

我们来看知识表示与文本结合的重要意义。通过上图可以发现，如果单独利用文本信息进行关系抽取，效果如蓝线所示。而如果将知识表示信息结合进来，效果会有明显跃迁。这说明，如果能够将文本和知识图谱信息有效融合在一起，将有助于表示学习等任务的性能提升。另外一个非常重要的挑战是，实体在知识图谱中还有丰富的描述信息，这些信息也是文本形式的，怎么把它融合进来呢？我们尝试了采用卷积神经网络对文本建模。由于时间关系就不作详细介绍，如果大家感兴趣可以私下交流。

总之，有非常多的知识是蕴藏在无结构的文本里面的，如何把无结构的文本和有结构的知识结合在一起，是非常重要的研究方向，也是不断扩充知识图谱的重要技术手段，值得深入研究。

最后我想介绍的是，如何充分利用知识图谱中的关系路径进行表示学习。我们可以看到，任意两个实体之间的关系，其实跟它们之间的关系路径有非常强的联系。比如说《阿甘正传》的电影语言其实与导演的语言有密切联系。如何充分利用关系路径，对于知识表示学习有重要意义。

过去就有人利用关系路径判断两个实体之间的关系，取得了非常好的效果。我们现在想说，在知识表示学习中，不只考虑直接的关联关系，还应当考虑两个实体之间的关系路径。这里有个重要问题，任给两个实体，如何把它们之间的关系路径也表示成向量，这就涉及到组合语义问题。

我们提出利用相加、相乘、循环神经网络的形式来实现组合语义，利用关系路径中每个关系的表示，得到关系路径的表示。这样我们就得到一个扩展的TransE模型，把关系路径表示成向量，然后构建h + r = t等式。

可以看一下扩展版TransE的性能。通过这些表格我们可以看到，考虑关系路径的模型在实体预测有超过35%的提升，这个提升是非常显著的。而在关系预测上，也有10%的提升，这个提升也非常明显。

由于时间关系这里就只举一个例子。如果我们能够很好地考虑关系路径，任给两个关系，假如它们形成一个路径的话，我们可以得到这个路径对应的关系，比如说某个关系路径是：“出生地点”和“地点所在国家”，通过模型可以推测出这个路径对应着关系“国籍”。

以上就是我们今天着重介绍的，如何在知识表示学习中考虑复杂关系，如何把文本和知识图谱信息相结合，以及如何考虑关系路径等等。当然，知识图谱的表示学习还有非常多值得研究的课题。

知识表示学习与深度学习在自然语言处理中的应用密切相关，最近两年正处在爆发期，今年自然语言处理会议的大部分论文都是关于深度学习的。这表明，表示学习是非常重要的研究方向。

最后想再强调一点，面向知识图谱的表示学习，对于更好地表示和利用知识图谱中的信息具有非常重要的意义。

这个方向仍然处于探索阶段，有非常多的工作值得去做。其有很多开放性的问题没有得到答案。比如人类认知的举一反三的能力，这代表了人的泛化能力以及抽象能力，目前深度学习和表示学习对此还做得不够好。2015年《科学》杂志上发表了一篇重要工作，就探索了只给一个样例来学习分类的问题，这对于人来讲很容易，但是对于机器则很难做到，特别是深度学习在这方面的能力非常差。实际上，深度学习领域在2014年发布过一个非常有名的成果，能够利用大规模无标注的图片自动学习和识别猫脸。其实这个过程有非常多的限制，包括使用了非常大量的猫的图片，而且都是标准的正脸。采用非常规范的数据学习得到猫脸，与人脑相比没什么了不起，因为人脑根本不需要这么多图片才能学到猫的样子。人只需要根据有限个样例，就能总结出猫的特点。这是深度学习和表示学习需要继续努力的方向。