FewRel 2.0数据集：以近知远，以一知万，少次学习新挑战
大家都知道，传统的机器学习模型需要较大的训练数据才能达到好的效果。然而我们人类从小时候起，就有看少量例子学会新事物的能力。少次学习（Few-Shot Learning）正是致力于探索模型如何能快速适应新任务的一种方式。
有一类经典的少次学习设定叫做 N-Way K-Shot：给定 N 个模型从未见过的类型，每个类型给定 K 个训练样本，要求模型能够将测试样例进行 N 分类。形象地说，这种设定要求模型“现学现卖”，先看几个例子，然后在测试集上做“选择题”，判断它们到底属于新类型中的哪一类。
在 CV 领域，常用的少次学习数据集有 miniImageNet 和 Omniglot。而在 NLP 领域，清华大学的刘知远老师组去年发布了 FewRel——一个大规模的少次学习关系抽取数据集。该数据集仅发布一年便获得了多次引用，也有许多研究者以此为基础展开相关研究。
而在今年的 EMNLP 上，该团队又发布了数据集的升级版： FewRel 2.0 。相关论文已经放出（ https://arxiv.org/abs/1910.07124 ）。和 1.0 相比，FewRel 2.0 又有哪些区别呢？
两大新挑战
在 FewRel 2.0 中，作者提出了两大少次学习新挑战：跨领域和“以上都不是”（无答案问题）。作者表示，以往的少次学习模型都不能很好的解决这两大问题，虽然他们提出了两个新模型，效果得到了一定的改善，但在这两个挑战上，仍有巨大的上升空间。
▲ 一图看FewRel两大新挑战
跨领域（Cross Domain）
目前的少次学习模型，走的大多是迁移学习（Transfer Learning）路线，即先在大规模数据集上进行训练，这样在面对没有见过的新任务时，便可以利用之前训练得到的鲁棒和通用的特征，进行快速学习。因此，一个模型的迁移能力强不强，将直接决定其在少次学习任务上的表现。
然而，目前的少次学习数据集，训练集和测试集大多来自同一个领域（如 FewRel 都是来自 Wikipedia），迁移难度较低；从另一方面讲，少次学习的实际应用场景，应该是在数据容易获取的通用领域语料上训练，在标注难度较高的专业领域语料（如金融、医疗等）进行部署。因此，FewRel 2.0 提供了一个医疗领域的测试集，并评测了目前 state-of-the-art 的少次学习模型。由下图可以看出，跨领域的挑战的确严峻，模型效果大幅下降，提升空间巨大。
▲ FewRel 1.0和FewRel 2.0测试结果对比，可看出跨领域任务十分具有挑战性
以上都不是（None-of-the-above）
正如前文所述，经典的少次学习设定中，模型做的是“选择题”，而我们知道做选择题是相对简单的，只需要衡量哪个选项更靠谱就可以了。但如果选择题中加入一个新选项“以上都不是”（None of the above），整道题目就会变的难很多。同理，在少次学习中，模型只需要比较测试集和给定新类型的训练集，哪个比较像选哪个，就能获得较高的表现，这其实不符合我们对少次学习任务的要求和预期。因此在 FewRel 2.0 中，作者新加入了“以上都不是”这一设定，测试集中的样本有一定概率不属于任何一个给定的新类别。
由下图可以看出，随着 NOTA Rate（即“以上都不是”的概率）的升高，旧模型的表现会越来越差，而作者提出的新模型 BERT-PAIR，在经过针对性的训练后，可以一直保持较高的水平。
更多信息
总结来说，FewRel 2.0 相比 1.0 版本增加了两个挑战：跨领域和“以上都不是”。经典模型在这两个挑战面前的表现都不尽人意。尽管作者在论文中提出了可能的解决方案和模型，但表现仍然有较大的提升空间。
▲ FewRel 1.0/2.0最好结果对比，可以看出面对两大新挑战，模型上升空间还很大
最后，数据集的论文（ https://arxiv.org/abs/1910.07124 ）和Github项目（ https://github.com/thunlp/fewrel ）均已放出，论文中提到的模型也都包括在内，感兴趣的同学可以到他们的 Github 主页和论文中了解更多信息。
关于作者
数据集的三位主要作者——高天宇（ https://gaotianyu.xyz/about/ ）、韩旭（ https://thucsthanxu13.github.io/ ）和朱昊（ http://www.zhuhao.me/ ）均来自孙茂松教授领导的清华大学自然语言处理实验室，由刘知远老师具体指导。
其中，高天宇是大四的本科生，韩旭是三年级的博士生，朱昊目前已前往 CMU 就读博士学位，师从 Graham Neubig 和 Yonatan Bisk。三人均在 NLP/ML 相关领域国际会议上发表多篇论文，在开源社区也都十分活跃。想要了解更多信息，可以查看他们的个人主页和项目 Github 页面。
About The Author
