今年高考英语得分，复旦武大校友这项研究有点意思

今年高考英语AI得分134，复旦武大校友这项研究有点意思

明源自奥菲斯
qubit |微信官方账号QbitAI

在挑战写语文作文之后，艾现在盯上了高考英语。

结果，小子，今年高考英语试卷(全国甲级)一上手就考了134分。

这不是偶然的。

在2018年至2021年的10套真题测试中，AI的得分都在125以上，最高分138.5，听力和阅读理解都得了满分。

这就是学者秦提出的人工智能系统。

它的参数数量只有GPT-3的16倍，但它的平均分比GPT-3高15分。

背后的秘密叫做重构的预训练，是作者提出的一种新的学习范式。

具体来说，就是对维基百科、YouTube等平台的信息进行重新提取和重构，然后喂给AI进行训练，从而使AI具有更强的泛化能力。

两位学者用一篇超过100页的完整论文深入解释了这一新范式。

那么，这个范式到底在说什么呢？

来深挖一下吧~

什么是重构前培训？

论文的题目很简单，叫做《重构的职前培训(RST)》。

核心观点就是一句简洁的话，就是关注数据！

笔者认为，世界上有价值的信息无处不在，目前的AI系统并没有充分利用数据中的信息。

比如维基百科和Github就包含了模型学习的各种信号:实体、关系、文本摘要、文本主题等。由于技术瓶颈，以前没有考虑过这些信号。

因此，作者在本文中提出了一种方法，用神经网络统一存储和访问包含各种类型信息的数据。

它们以结构化的方式用信号来表示数据，这与数据科学中的方式非常相似，我们经常将数据构造成表格或JSON格式，然后使用特殊的语言(如SQL)来检索所需的信息。

具体来说，这里的信号其实是指数据中的有用信息。

比如“莫扎特出生在萨尔茨堡”这句话里，“莫扎特”和“萨尔茨堡”就是信号。

然后，需要在各种平台上挖掘数据，提取信号。作者将这一过程比作在矿井中寻宝。

接下来利用提示法，可以把这些来自不同地方的信号统一成一种形式。

最后，这些重组的数据被集成并存储在语言模型中。

这样研究可以统一来自10个数据源的26种不同类型的信号，使模型具有很强的泛化能力。

结果表明，在很多数据集上，RST-T和RST-A在零样本学习中的表现优于GPT-3。

为了进一步测试新方法的性能，笔者还想到了让AI做高考题的方法。

他们表示，现在很多工作方法都遵循中国GPT-3的思路，在评测应用场景上也遵循OpenAI和DeepMind。

比如胶水评测基准，蛋白质折叠评分等。

基于对目前AI模式发展的观察，笔者认为可以开辟一条新的赛道来尝试，于是想到了利用高考来培养AI手。

他们找来前几年共10套试卷做标记，请高中老师打分。

机器视觉和语音识别领域的学者也被要求在听力/图片阅读理解等主题上提供帮助。

最终开发出了英语的这个AI模型，也可以叫秦。

从测试结果可以看出，秦绝对是一个学习高手，10套卷子的成绩都高于T0pp和3。

此外，作者还提出了高考的基准。

他们觉得现在的很多评测基准的任务都很单一，大部分都没有实用价值，很难和人的状况相比。

高考题目不仅涵盖了各种知识点，还直接有人类的分数进行对比，可谓一举两得。

NLP的第五范式？

从更深层次来看，笔者认为重构预训练可能成为NLP的新范式，即预训练/微调过程被视为数据存储/访问过程。

此前，作者将自然语言处理的发展概括为四种范式:

但基于目前对NLP发展的观察，他们认为也许未来可以用以数据为中心的方式来看待问题。

即预训/微调、少射/零射等概念的分化。会更加模糊，核心只会集中在一点上——

有多少有价值的信息可以利用。

此外，他们还提出了NLP进化的假说。

核心思想是技术发展的方向永远遵循这个——做得更少，实现更好更通用的系统。

作者认为，NLP经历了特征工程、架构工程、目标工程和提示工程，现在正向数据工程发展。

复旦大学校友楼

本文的作品之一袁。

她毕业于武汉大学，获学士学位，后赴卡内基梅隆大学学习数据科学。

研究方向侧重于自然语言处理任务的文本生成和评测。

去年，她分别收到了AAAI 2022和NeurIPS 2021的论文，还获得了ACL 2021最佳演示论文奖。

本文通讯作者是卡耐基梅隆大学语言技术研究所(LTI)的博士后研究员刘鹏飞。

2019年获复旦大学计算机系博士学位，师从邱希鹏教授和黄教授。

他的兴趣包括NLP模型的可解释性、迁移学习、基于任务的学习等。

博士期间拿了计算机领域的各种奖学金，包括IBM博士奖学金，微软奖学金，腾讯人工智能奖学金，百度奖学金。

还有一点

值得一提的是，当刘鹏飞向我们介绍这部作品时，他直言不讳地说，“起初，我们并不打算提交它”。

这是因为他们不希望会议论文的格式限制了构思论文的想象力。

文末藏了一些惊喜彩蛋。

比如PLMs主题表情:

最后的插图是:

所以，100多页的论文看完也不会累~

论文地址:
https://arxiv.org/abs/2206.11147