论文原文：Prefix-Tuning: Optimizing Continuous Prompts for Generation， 2021，不到一年的文章，引用已经两百多了，你说呢。
git: https://github.com/XiangLi1999/PrefixTuning

Fine-tuning范式大家肯定都再熟悉不过，微调所有语言模型参数，而从gpt3出现之后提出的in-context learning，还是越来越火的prompt，fine-tuning 已经out of state了。而这篇文章就提出prefix-tuning的nlg训练方法。

动机

国际惯例，列举finetuning缺点：

• 需要微调语言模型所有参数，每个任务都需要保存一遍所有的模型参数。
• 同时，最近也有lightweight fine-tuning，即固定语言模型大部分参数，微调2-4%任务相关的参数，但是作者认为还是太多。

受启发于gpt3出现之后提出的in-context learning（固定语言模型参数），因此，prefix-tuning致力于如何不改变语言模型参数的方式，增加一些任务相关的（task-specific）额外的参数，希望效果甚至超过finetune（降本增效）。