「自然语言处理(NLP)」（用二进制句向量表示）【杜克大学&&微软研究院】

Autoencoder Architecture

    上述方法存在一个共同的问题，即模型目标不是直接学习的二进制代码保留原始连续嵌入的语义信息，而是训练后采用单独的二值化步骤。为了解决这个缺点，我们进一步考虑了一种自动编码器体系结构，它利用重构损失为学习的二进制表示提供更多的信息。具体地说，利用编码器网络将连续信号转换为二进制潜在向量，然后用解码器网络将其重构回来。其模型结构如下：

实验结果

十个下行任务测试结果如下图所示：

其中，STS14、STSB、MRPC分别采用Pearson和Spearman相关进行评价，SICK-R采用Pearson相关进行测量。所有其他数据集都以测试精度进行评估。InferSent-G使用Glove (G)作为单词embeddings，而InferSent- ff使用FastText(F) embeddings。

SNLI数据集上的最近邻检索结果：    给定一个查询语句，左列显示基于汉明距离的前3个检索到的样本，其中包含所有语句的二进制表示，而右列显示的样本则根据它们连续嵌入的余弦相似性。

Double Kill

TILE: Self-Regulated Interactive Sequence-to-Sequence Learning。

Contributor : 德国海德堡大学

Paper: https://www.aclweb.org/anthology/P19-1029

Code: None

文章摘要

    并不是所有类型的监督信号都是相同的:不同类型的反馈对学习有不同的成本和效果。文中展示了自我调节策略是如何决定什么时候向老师(或自己)寻求哪种反馈的，这些策略可以被转换成一个“学习到学习”的问题，从而提高代价感知的顺序到顺序学习。在交互式神经机器翻译实验中，自调节器通过混合不同的反馈类型（包括校正、错误标记和自监督），我们发现了最优的代价质量折衷的贪婪策略。此外，我们证明了它在域转移下的鲁棒性，并将其作为主动学习的一个有前途的替代方法。

本文三大看点

    1、首先从不同类型的反馈中比较Seq2Seq训练目标。

    2、然后介绍了自调节模块。

    3、最后将两者结合在自调节算法中。

Seq2Seq Learning

Learning from Corrections： 当使用人工生成的参考资料以及在线调整后发布的内容进行训练时，这一训练目标是标准的监督学习。

**Learning from Error Markings ：**虽然序列中不正确部分的可能性不影响总和，但是它们包含在正确部分的上下文中。

**Self-Supervision ：**不同于向teacher寻求反馈，learner也可以选择从自己的输出中学习，也就是从自我监督中学习。简单命题是把learner的输出当作是正确的，但这很快就会导致过度自信和退化。

Learning to Self-regulate

    规则器是Seq2Seq学习中另外一种优化质量、权衡成本的神经模型$q_{\phi }$qφ​。给定一个输入$x_i$xi​和Seq2Seqs假设$y_i$yi​,在这里选择一个动作,这种反馈的选择决定了Seq2Seq学习器的更新，如下图所示

实验结果

    规则变量对累积成本的影响    对IWSLT进行训练的调整器的域转移到图书域（仅比较完整和弱反馈）    学习自我调节策略，与基于不确定性的主动学习相比，在书本领域有固定比例的完全反馈。

ACED

Attention

更多自然语言处理相关知识，还请关注AINLPer公众号，极品干货即刻送达。