text: 【LLM系列-06】Multitask Prompted Training Enables Zero-Shot Task Generalization
  近期的工作展现了LLM的zero-shot能力——尽管模型训练时只建模了语言模型的目标，但是却能在那些训练过程中未显示见过的任务上表现不俗（如阅读理解、摘要等）。一个有影响力的假设是，LLM之所以能够泛化到新任务上，是因为在预训练过程中进行了隐式的multi-task学习。例如，通过对网络论坛中自由文本的训练，模型可能隐式地学习饿到了问答的格式和结构。只是，这种设定下，需要模型的参数规模非常大并且模型对prompt也会比较敏感。另外，这种multi-task学习究竟有多“隐式”，很难说。从最近LLM的预训练语料来看，可以肯定的是，有一些常见的NLP任务甚至会显式地出现在语料中（如问答），也就使得模型在这些任务上实际进行了监督学习。我们猜测，这种在预训练过程中multi-task的监督学习，可能对模型的zero-shot泛化能力起到了非常大的作用。本文中，我们对LM进行了显式的multi-task监督学习。我们采用了大量NLP任务的混合来训练，目的是促进小规模参数模型在held-out任务上的泛化能力，同时也让模型对prompt不那么敏感。为了将NLP任务转换为prompt格式，我们开发了一个prompt收集接口用于公开收集每个数据集的多个prompt。我们的底座是T5的一个变种，评估采用的数据集不会在训练时出现。我们的实验想回答两个问题：第一，multi-task的学习能否促进模型在held-out任务上的泛化性；第二，在多种prompt下进行训练，是否能提升模型对prompt的鲁棒性。关于第一个问题，我们发现答案是肯定的，采用规模仅1/16于GPT-3的模型，就能在9/11个数据集上效果优于GPT-3。关于第二个问题，我们发现在多个prompt下训练，能够提升效果的中位数并降低变异性。根据任务的不同格式，我们将开源的62个数据集分成了12个task，如下：我们在黄色的8个任务上进行训练，然后在绿色的4个任务上进行zero-shot的评估，另外，我们也采用了BIG-Bench中的部分数据集进行评估。我们将所有的数据集都转换为了prompt格式，我们开发了一个接口以便于让用户帮我们写prompt，其中会过滤有害的内容以及非自然语言比如代码。最终我们在177个数据集上获得了共2073个prompt（平均每个数据集有11.7个prompt），我们把这些收集到的prompt称为P3。实验中用到的prompt均来自P3，除了BIG-bench，它的prompt用的是构建者自己写的。6.1. Generalization to Held-Out Tasks我们想搞清楚的第一个问题是，multitask prompted training能否提升held-out任务上的泛化性。结果如下：对比T0和T5+LM，由于二者的区别仅在于，是否采用了multitask prompted training，因此，multi-task训练对效果的提升是显而易见的。对比T0和GPT-3的效果，前者在9/11数据集上效果达到或超越了后者。在BIG-bench子集上进行的评估显示，提升训练时的任务数量，可以进一步提升效果：6.2. Prompt Robustness我们想搞清楚的第二个问题是，在更多的prompt上进行训练是否能提升模型对prompt的鲁棒性，我们从两个层面进行了实验：每个数据集的平均prompt数量、训练期间使用的数据集数量。实验结果显示，随着数据集的平均prompt数量增加，模型效果的中位数会提升且变异性降低。然而，提升训练时采用的训练集数量，却似乎不能得出对prompt更加鲁棒的结论。由于GPT-3的原始论文中只采用了1个prompt进行评测，因此我们调用了OpenAI的接口，在RTE这个数据集上，采用了本文中使用的10个prompt进行同样的评测（其中有1个和GPT-3论文中的prompt一致），结果显示，T0的鲁棒性要强于GPT-3。Section 7. Discussion与我们同时期提出的一篇工作——FLAN，思路和T0很像。从效果上来看，T0和FLAN差异不大，但是T0的参数量不到FLAN的1/10。令人诧异的是，FLAN的实验表明，在小模型（8B及以下）上，微调后的效果会降低，然而我们的实验表明，即使是3B的模型，微调后效果都会提升。我们发现了造成这种差异的两个可能原因：第一，FLAN采用的是Decoder-only结构，而T0采用的是Encoder-Decoder结构，在基于LM的训练之前，采用了MLM的训练任务，之前已有研究表明，MLM是一个更加高效的预训练策略；第二，我们的prompt更加丰富（无论是长度还是多样性上），这也是为什么FLAN的实验显示prompt多样性对效果影响不大，而T0的实验显示prompt多样性能提升效果。专门补充T0的评估细节基本原则：较之FLAN，本文额外的贡献在于——实验表明，小参数规模的模型，同样能够受益于multitask prompted training，继而提升在未见过任务上的zero-shot能力。[1] https://arxiv.org/pdf/2110.08207.pdf