中秋休息了，昨天忘記更新了。補上。
【2019.09】Language Models as Knowledge Bases? （LAMA）
提出了一種叫做LAMA的探針來研究預訓練模型引數中蘊含了多少關係型的知識，這種probe被建模成完型填空的形式，透過在ConceptNet，SQuAD等資料集上手動構造模板來預測單個token。例如： Obama was born in ［MASK］
【2020.01】Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference （PET）
這篇論文認為prompt的潛力不止於probe knowledge in language model上，將prompt融入到了在few shot setting下的supervised training上，同時形式化地提出了prompt learning的正規化。
【2020.10】AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts
以前的問題在於模版都是手工構造的，耗時長，同時模板對上下文很敏感，不恰當的上下文容易降低效能，所以這篇工作主要集中在如何針對特定的任務自動化地構造模板。主要提出了一種基於梯度來自動化搜尋模板的方法。
【2020.12】Making Pre-trained Language Models Better Few-shot Learners （LM-BFF）
針對前面搜尋不高效，模板不靈活的問題，提出了一種更高效的自動化prompt生成的方案（label words search + T5-based template generation），也argue了目前的few shot設定， 此外受GPT-3啟發還提出了prompt結合demonstration的方法來指導模型
【2021.01】Prefix-Tuning: Optimizing Continuous Prompts for Generation
針對離散的prompt難以最佳化的問題，提出引數化的prompt，僅微調prompt，fix住LM，用於生成任務上
【2021.03】GPT Understands, Too （P-tuning）
作者發現人為設計的prompt的語法語義和最後的效能並沒有明顯的關聯，同時prompt的微小變化對效能很敏感。由此也提出了引數化的，非自然語言的prompt，用於理解類任務上。（這裡採用的微調策略是prompt+lm一起微調）
【2021.04】The Power of Scale for Parameter-Efficient Prompt Tuning
Prefix-Tuning工作主要驗證了僅微調prompt，這種引數化的prompt在少樣本場景下能夠優於finetune的方法，P-tuning在superGLUE上用全量資料微調了prompt+LM使得效果能夠接近finetune，這篇主要驗證了用全量資料僅微調prompt，能不能接近finetune的方法。另一個小的不同點在於P-tuning還是用到了人為的prompt
【2021.09】PPT: Pre-trained Prompt Tuning for Few-shot Learning
之前的工作都是在finetune階段去使用prompt，這篇文章第一次提出了prompt pretraining的過程。一開始是因為觀察了prompt tuning中的大模型儘管在全量資料下能夠媲美finetune，但是在少樣本情況下並不好，作者認為是因為在大模型上soft prompt對初始化很敏感，所以設計了一系列預訓練的prompt task來給soft prompt提供一個很好的初始化。
