预训练新范式提示学习（Prompttuning，Prefixtuning，Ptuning，PPT，SPoT）

「Prompt Tuning也许会是深度学习时代的Feature Engineering问题&＃xff0c;如何给各大任务设计合理的Prompts将会是很有意思的科学问题」–刘知远

虽然博主以前也看到了基于 Prompt-tuning 可以让GPT-3处理各种类型的任务&＃xff0c;甚至拥有直接处理零样本和小样本学习能力。也整理过GPT&＃xff0c;OpenAI CLIP&＃xff0c;DALL-E 这些文章。但但但&＃xff0c;没想到这个领域冲的好快&＃xff0c;新范式、综述和应用都层出不穷&＃xff0c;并且看到小伙伴的应用实验效果奇佳。便想重新整理一些文章&＃xff0c;再重新认识一下Prompt-tuning&＃xff01;

GPT-3&＃xff08;Language Models are Few shot Learners)
众所周知GPT-3的优势在于它超级大大大大 &＃xff0c;可以针对特定任务来进行微调&＃xff0c;即核心理念为&＃xff1a;将所有自然语言处理的任务转换为语言模型任务。

所有任务都可以被统一建模&＃xff0c;任务描述与任务输入视为语言模型的历史上下文&＃xff0c;而输出则为语言模型需要预测的未来信息。即转变问题为根据文本的走向来 " 搞清楚 " 它们应该做什么事情&＃xff0c;通过给模型一些提示&＃xff08;prompt&＃xff09;&＃xff0c;来让它根据任务直接学习。这种方法也被称为情境学习&＃xff08;in-context learning&＃xff09;或提示&＃xff08;prompting&＃xff09;。

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
然后直接来看大佬关于Prompt的综述。NLP技术的发展可分为4个阶段/范式&＃xff0c;如下图。

• 全监督学习&＃xff08;非神经网络&＃xff09;。仅在目标任务的输入输出样本数据集上训练特定任务模型&＃xff0c;其严重依赖特征工程。
• 全监督学习&＃xff08;神经网络&＃xff09;。使得特征学习与模型训练相结合&＃xff0c;于是研究重点转向了架构工程&＃xff0c;即通过设计一个网络架构&＃xff08;如CNN&＃xff0c;RNN&＃xff0c;Transformer&＃xff09;能够学习数据特征。
• Pre-train&＃xff0c;Fine-tune。先在大数据集上预训练&＃xff0c;再根据特定任务对模型进行微调&＃xff0c;以适应于不同的下游任务。在这种范式下&＃xff0c;研究重点转向了目标工程&＃xff0c;设计在预训练和微调阶段使用的训练目标&＃xff08;损失函数&＃xff09;。
• Pre-train&＃xff0c;Prompt&＃xff0c;Predict。无需要fine-tune&＃xff0c;让预训练模型直接适应下游任务。方便省事&＃xff0c;不需要每个任务每套参数&＃xff0c;突破数据约束。

具体“Prompt”的做法是&＃xff0c;将人为的规则给到预训练模型&＃xff0c;使模型可以更好地理解人的指令的一项技术&＃xff0c;以便更好地利用预训练模型。例如&＃xff0c;在文本情感分类任务中&＃xff0c;输入为"I love this movie."&＃xff0c;希望输出的是"positive/negative"中的一个标签。那么可以设置一个Prompt&＃xff0c;形如&＃xff1a;“The movie is ___”&＃xff0c;然后让模型用来表示情感状态的答案&＃xff08;label&＃xff09;&＃xff0c;如positive/negative&＃xff0c;甚至更细粒度一些的“fantastic”、“boring”等&＃xff0c;将空补全作为输出。

Fine-tune和Prompt的区别&＃xff1f;
prompting 更加依赖先验&＃xff0c;而 fine-tuning 更加依赖后验。

• Fine-tuning中&＃xff1a;是预训练语言模型“迁就“各种下游任务。具体体现就是通过引入各种辅助任务loss&＃xff0c;将其添加到预训练模型中&＃xff0c;然后继续pre-training&＃xff0c;以便让其更加适配下游任务&＃xff0c;这个过程中&＃xff0c;预训练语言模型做出了更多的牺牲。
• Prompting中&＃xff0c;是各种下游任务“迁就“预训练语言模型。具体体现也是上面介绍的&＃xff0c;我们需要对不同任务进行重构&＃xff0c;使得它达到适配预训练语言模型的效果&＃xff0c;这个过程中&＃xff0c;是下游任务做出了更多的牺牲。

这种方法的优点是给定一组合适的 prompt&＃xff0c;以完全无监督的方式训练的单个 LM 就能够用于解决大量任务。然而该方法也存在一个问题——这种方法引入了 prompt 挖掘工程的必要性&＃xff0c;即需要找出最合适的 prompt 来让 LM 解决面临的任务&＃xff0c;即怎么做Prompt Engineering。

Fine-tune和Prompt的性能&＃xff1f;
Prompt当然参数量要小很多啦。如下图是对于T5的两者对比图。

• Fine-tune需要为每个下游任务都存下整个预训练模型的副本&＃xff0c;并且推理必须在单独的批次中执行。
• Prompt只需要为每个任务存储一个特定于下游任务的小单元&＃xff0c;并使用原始的预先训练过的模型启用混合任务推理即可。

Fine-tune模型的每个副本都需要110亿个参数。而Prompt每个任务只需要20480个参数——减少超过5个数量级。

Prompt Engineering
主要目标是设计Prompt。比如 Overall it was a [z] movie&＃xff0c;[z]是需要模型进行填充的空位&＃xff0c;[z]的位置和数量决定了Prompt的类型。回顾一下CLIP就是使用的“A photo of a [z]”的prompt。

• cloze prompt&＃xff08;[z]在句中&＃xff09;。适合使用掩码 (Mask) LM 解决的任务。
• prefix prompt&＃xff08;[z]在句末&＃xff09;。适合有关生成的任务或使用标准自回归 LM 解决的任务&＃xff0c;因为它们与模型从左到右的性质刚好吻合。

对于一些涉及多个输入的任务例如文本对分类&＃xff0c;prompt 模板则必须包含至少两个输入的空间。人工设计模版或者自动化搜索模版一般是常用的方式。

Answer Engineering
与 prompt 工程相反&＃xff0c;answer 工程的目的是搜索一个 answer 空间 Z 和一个到原始输出 Y 的映射&＃xff0c;从而得到更细粒度的预测模型。比如把纯“positive”或“negative”的标签转变成选择恰当的词汇填空如“fantastic”&＃xff0c;使情感分类任务转变为语言模型构建任务。下图是一些可参考的模版&＃xff0c;当然此后的一些新方法都是想通过自动构建模版&＃xff0c;以进一步释放语言模型潜能。

paper&＃xff1a;https://arxiv.org/abs/2107.13586

Multi-prompt learning
多个prompt往往能提高效果&＃xff0c;常见的集成方式如上图&＃xff1a;

• Ensemble。多个prompt&＃xff0c;每个prompt都按照单prompt的方法并行进行&＃xff0c;然后再把最终的结果汇总&＃xff0c;可以通过加权或者投票的方式汇总多个单prompt的方法的结果。
• Augmentation。增强的方式其实就是找一个跟当前问题相似的case&＃xff0c;然后将这个case跟当前输入x‘一起输入&＃xff0c;这种模型就可以根据那个case对x‘做出更精准的预测了。
• Composition。同时利用多个prompt构建prompt函数&＃xff0c;每个prompt负责一个子任务&＃xff0c;把多个prompt的内容融合到一起&＃xff0c;同时进行多个子任务的预测。例如关系抽取任务&＃xff0c;有的prompt负责实体识别&＃xff0c;有的prompt负责判断实体间的关系。
• Decomposition。对于有多个预测值的任务&＃xff0c;将原始的任务拆分程多个子任务&＃xff0c;引入多个prompt&＃xff0c;分别处理子任务&＃xff0c;彼此隔离。也就是把多个预测值的任务拆分程多个单prompt任务去分别处理。

为什么Prompt会更有效&＃xff1f;
实际上&＃xff0c;prompt 可以看做是对预训练语言模型中已经记忆的知识的一种检索方式&＃xff0c;由于 prompt 任务形式就是预训练任务&＃xff0c;所以相比于 fine-tuning&＃xff0c;当使用 prompt 形式向模型中输入样本时&＃xff0c;预测时得到了“提示”&＃xff0c;因此所需使用到的信息量是更多的。因为要用到更多的信息量&＃xff0c;所以样本的类别分布在 prompt 视角之下都是稀疏的&＃xff0c;这应该也是 prompt 在 few-shot 上效果显著的原因。

Prefix-Tuning: Optimizing Continuous Prompts for Generation
之前的工作如Prompting主要是人工设计模版或者自动化搜索模版&＃xff08;如上一篇综述所展示了很多模版&＃xff09;来进行预训练的&＃xff0c;但人工设计的未知性比较影响模型性能&＃43;自动化搜索成本较高&＃xff0c;为什么不从离散tokens转向连续的“soft prompt”呢&＃xff1f;

因此prefix-tuning 的主要贡献是提出任务特定的trainable前缀prefix&＃xff0c;这样直接为不同任务保存不同的前缀即可。如上图的下方&＃xff0c;只需要不同任务设置不同的Prefix即可&＃xff0c;因此实现上只需要存储一个大型transformer模型和多个学习的任务特定的prefix参数。

基于prompting方法的直觉&＃xff0c;作者认为具有适当的上下文可以在不改变参数的情况下来引导LM。因此作者给模型若干的字词作为提示&＃xff0c;比如想让模型生成“Obama”&＃xff0c;那可以在其常见的搭配前加上上下文(例如abama的名字Barack)&＃xff0c;那么LM就会把更高的可能性分配给想要的单词&＃xff0c;就能自动生成一个模版。符号化表示可以有两种形式&＃xff1a;

• 对于自回归模型&＃xff0c;加入前缀后的模型输入表示&＃xff1a;$z\&＃61;[PREFIX;x;y]$
• 或者为编码器和编码器都添加prefix&＃xff1a;z&＃61;[PREFIX;x;PREFIX′;y]z&＃61;[PREFIX;x;PREFIX&＃39;;y]z&＃61;[PREFIX;x;PREFIX′;y]。

然后其他的不变&＃xff0c;语言模型参数固定&＃xff0c;只更新前缀参数。这种连续性的生成方法在后续的P-tuning中也持续被探索。

paper&＃xff1a;https://arxiv.org/abs/2101.00190
code&＃xff1a;https://github.com/XiangLi1999/PrefixTuning

GPT Understands, Too
P-tuning V1的动机和prefix-tuning是类似的&＃xff0c;也是探索可学习的可微模版&＃xff0c;主要贡献是首次提出了用连续空间搜索的 embedding 做 prompt。如这篇清华文章的题目“GPT Understands, Too”&＃xff0c;代表着它的表现想颠覆一直以来“GPT只能做生成&＃xff0c;不能做理解”的结论。

首先关于“什么是模版”&＃xff0c;直观上模版就是由自然语言构成的前缀/后缀。比如人工定义的话会变成类似「The capital of Britain is [MASK]」这种形式&＃xff0c;然后也可是「Britain’ capital is [MASK]」或者「[MASK] is the capital of Britain 」等等。通过这些模版才能使得下游任务跟预训练任务一致&＃xff0c;这样才能更加充分地利用原始预训练模型。

而P-tuning的目标是&＃xff1a;不关心模版长什么样&＃xff0c; 只需要知道模版由哪些 token 组成&＃xff0c;该插入到哪里&＃xff0c;插入后能不能完成我们的下游任务&＃xff0c;输出的候选空间是什么就可以了。即不关心模版的“自然语言”要求&＃xff0c;它只是为了更好地实现“一致性”但不是必须的。因此P-tuning 的做法是用上下文 x &＃xff08;「Britain」&＃xff09;、目标 y&＃xff08;「[MASK]」&＃xff09; 和去组合成一个prompt模版 t &＃xff08;「The capital of … is …」&＃xff09;。如下图&＃xff0c;

上下文指蓝色的“Britain”&＃xff0c;目标是红色的“[MASK]”&＃xff0c;橘色的区域是想生成的模版。左边的图a是离散化搜索的做法&＃xff0c;不一定是最优的。右边的是P-tuning&＃xff0c;它通过预训练的嵌入层将一组离散输入 token &＃xff08;即pseudo prompts&＃xff09;映射到embedding&＃xff0c;然后结合&＃xff08;capital&＃xff0c;Britain&＃xff09;生成得到结果&＃xff0c;再优化生成的encoder部分。这种方法可以找到更好的连续 prompt&＃xff0c;并通过下游损失函数对连续 prompt 进行优化。

离散 vs 连续
最早研究自动模版的工作&＃xff0c;有些是挖掘实体关系&＃xff0c;有些需要大量样本进行基于梯度搜索&＃xff08;如autoprompt&＃xff09;&＃xff0c;在离散空间下搜索的自然语言模版。也有梯度粗筛&＃43;代入模版精筛等等。而连续的Prefix-Tuning和P-tuning 放弃了“模版由自然语言构成”这一要求&＃xff0c;从而将其变成了可以简单梯度下降求解的连续参数问题&＃xff0c;效果还更好。可能prompt的关键在于它是怎么用的&＃xff0c;不在于它由什么构成。

paper&＃xff1a;https://arxiv.org/abs/2103.10385
code&＃xff1a;https://github.com/THUDM/P-tuning

P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
P-tuning在一些复杂的自然语言理解NLU任务上效果很差&＃xff08;任务不通用&＃xff09;&＃43;预训练的参数量不能小&＃xff08;规模不通用&＃xff09;。因此V2版本主要是基于P-tuning和Prefix-tuning&＃xff0c;引入Deep Prompt Encoding和Multi-task Learning等策略进行优化的。直接看模型图如下&＃xff0c;左边是p-tuning的做法&＃xff0c;右边是v2的改进。

对比起来主要的变动有&＃xff1a;

• Deep Prompt Encoding&＃xff1a;采用 Prefix-tuning 的做法&＃xff0c;在输入前面的每层加入可微调的参数。
• 无重参数化编码器&＃xff1a;对pseudo token&＃xff0c;不再使用重参数化进行表征&＃xff08;如用于 prefix-tunning 的 MLP 和用于 P-tuning 的 LSTM&＃xff09;&＃xff0c;且不再替换pre-trained model word embedding&＃xff0c;取而代之的是直接对pseudo token对应的深层模型的参数进行微调。
• Multi-task learning&＃xff1a;对于pseudo token的continous prompt&＃xff0c;随机初始化比较难以优化&＃xff0c;因此采用multi-task方法同时训练多个数据集&＃xff0c;prefix continuous prompt共享。
• 回到CLS&＃xff1a;可以在[CLS]部分输出sentence-level class&＃xff0c;以及每个token位置上输出token-level class&＃xff0c;可以解决一些没有语义标签的问题。

paper&＃xff1a;https://arxiv.org/abs/2110.07602
code&＃xff1a;https://github.com/thudm/p-tuning-v2

OpenPrompt 工具包
Pipeline工具来了&＃xff01;先放link&＃xff1a;

• https://github.com/thunlp/OpenPrompt

PPT: Pre-trained Prompt Tuning for Few-shot Learning
虽然Prompt-tuning非常有效&＃xff0c;其在较小预训练模型上、在Few-shot的场景下表现一般&＃xff0c;且相比于Model-tuning&＃xff0c;Prompt-tuning的收敛速度较慢&＃xff0c;需要训练更多的步数。虽然可以通过初始化soft prompts解决&＃xff0c;那既然如此&＃xff0c;为什么不对prompts也进行预训练呢&＃xff01;

这篇文章提出PPT&＃xff0c;对prompt的预训练方法是利用把所有的分类任务分成三类&＃xff1a;单句分类任务、句对分类任务和多项选择分类任务。然后对每一类都设计了一个自监督预训练任务&＃xff0c;然后用预训练任务的prompts去初始化下游任务的prompts。

• https://arxiv.org/abs/2109.04332

SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer
SPOT用一个或多个源任务训练的prompts来初始化目标任务的prompts。比较重要的是&＃xff0c;实验结论中有如下几种方式组合比较好&＃xff0c;

• Best of top-k: 用top-k源任务的prompts逐个去初始化&＃xff0c;然后选最好。
• Top-k weighted average: 用top-k prompts的线性加权去初始化&＃xff0c;权重是各个任务与目标任务的prompts的相似度。
• Top-k multi-task mixture: 混合top-k源任务的数据进行训练&＃xff0c;再用最后得到的prompt去初始化。

https://arxiv.org/abs/2110.07904

On Transferability of Prompt Tuning for Natural Language Understanding
补一篇衡量prompt相似度的文章&＃xff0c;细节待补&＃xff0c;先上结论&＃xff1a;prompt的迁移性很重要&＃xff0c;但并不是相似度越高就越好。
https://arxiv.org/abs/2111.06719

下一篇博文将继续整理Prompt在多模态预训练中的应用&＃xff0c;

• 多模态预训练中的Prompt&＃xff08;MANTIS&＃xff0c;ActionCLIP&＃xff0c;CPT&＃xff0c;CoOp&＃xff09;
• 多模态预训练中的Prompt&＃xff08;ALPRO&＃xff0c;Frozen&＃xff09;