返回资讯

WhoIsWho -- 百万级手工标注的命名排歧标准数据集

发布时间:2026年11月4日

背景

英文版本

在许多应用中,同名消歧一直被视为一个具有挑战性的问题,如科学文献管理、人物搜索、社交网络分析等。科学文献的大量增长使得该问题变得更加困难与紧迫。尽管同名消歧已经在学术界和工业界被大量研究,但由于数据的杂乱以及同名情景十分复杂,导致该问题仍未能很好解决。

本次论文同名消歧数据集基于清华大学AMiner系统,AMiner是一个以学者为中心的学术搜索和挖掘平台,涵盖各学术领域超过2亿篇论文和1亿多位学者。数据集通过手工标注,噪音较少,第一批先发布421个人名,45,187个author,共399,225篇paper。据调研,该数据集是目前为止发布的人工标注数据规模最大的姓名消歧数据集,之后我们还计划以增量的方式继续发布更多的人工标注的姓名排歧数据集并辅以系列数据竞赛。

数据集版本 #姓名 #作者 #论文 日期
na-v1 421 45,187 399,255
(2019.9.30 ~ 2019.12.03: 我们在biendata基于na-v1版本发布了一个同名消歧的竞赛。)

任务描述

在WhoIsWho系列竞赛中,我们定义了俩个基础的命名排歧任务:

I. 论文的冷启动消歧(Name Disambiguation from Scratch)

任务描述:给定一堆拥有同名作者的论文,要求返回一组论文聚类,使得一个聚类内部的论文都是一个人的,不同聚类间的论文不属于一个人。最终目的是识别出哪些同名作者的论文属于同一个人。

II. 论文的增量消歧(Continuous Name Disambiguation)

任务描述:线上系统每天会新增大量的论文,如何准确快速的将论文分配到系统中已有作者档案,这是线上学术系统最亟待解决的问题。所以问题抽象定义为:给定一批新增论文以及系统已有的作者论文集,最终目的是把新增论文分配到正确的作者档案中。

评测指标及说明示例 [点击下载]

数据集下载

na-v1

训练集:

train_author.json [数据下载]

train_pub.json [数据下载]

训练集数据格式说明 [点击下载]

验证集:

I. 论文的冷启动消歧(Name Disambiguation from Scratch)

​II. 论文的增量消歧(Continuous Name Disambiguation)

测试集

I. 论文的冷启动消歧(Name Disambiguation from Scratch)

  • sna_test_author_raw.json​ [数据下载]:同sna_valid_unass_competition.json;
  • sna_test_pub.json [数据下载]:sna_test_author_raw.json中所涉及的论文元信息,同train_pub.json.

​II. 论文的增量消歧(Continuous Name Disambiguation)

  • cna_test_unass_competition.json [数据下载]:同cna_valid_unass_competition.json

  • cna_test_pub.json [数据下载]:cna_test_unass_competition.json中所涉及的论文元信息,格式同train_pub.json。

NOTE:

1. 对于同一个模型来说,测试集的效果应该明显比验证集的效果要好,这是由于我们在基于AMiner线上分配结果进行人工标注时,对于那种同名作者非常多的人名(比如,名字”张静“有几百个同名的作者),我们只筛选一部分同名作者进行标注。当我们在构建验证集时,为了还原AMiner线上的实际情况,我们还是保留所有的同名作者,只不过其中一部分的作者被人工标注过,所以验证集的数据会有些噪音,且难度较大;不过在构建测试集时,为了单纯的检验模型的效果,我们只保留了人工标注过的同名作者,所以测试集的情况要比验证集要简单些。

2. 为了保持数据竞赛的可参与性,我们暂时不向公众发布测试集答案。不过,您可以将您的模型及详细的运行文档发送到邮箱:oagwhoiswho@gmail.com以便我们可以在测试集上为您运行,请给我们几天时间来评估您的模型,评估完成后会给您回信;

3. 若您想让您的成绩登上排行榜,请在文档中显示说明并介绍您的model名称以及作者的单位信息,如果您能提供一个链接到你发表的论文,网站或博客,描述你提交的模型,那就更好了。

如果您有任何疑问和建议,也可发送电子邮件至oagwhoiswho@gmail.com

长期榜单

参考文献

[1] Jie Tang, Jing Zhang, Limin Yao, Juanzi Li, Li Zhang, and Zhong Su. ArnetMiner: Extraction and Mining of Academic Social Networks. In Proceedings of the Fourteenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD'08), pages990-998. [PDF] [Slides] [System] [API] [Citation Data] [DBLP Citation Data] [Author-Conference-Topic (ACT) Model (source code)] [More Data] (Top 2 cited papers among all KDD 2008's papers, More...)

[2] Jie Tang, A.C.M. Fong, Bo Wang, and Jing Zhang. A Unified Probabilistic Framework for Name Disambiguation in Digital Library. IEEE Transaction on Knowledge and Data Engineering (TKDE), 2012, Volume 24, Issue 6, Pages 975-987. [PDF] [Data]

[3] Yutao Zhang, Fanjin Zhang, Peiran Yao, and Jie Tang. Name Disambiguation in AMiner: Clustering, Maintenance, and Human in the Loop. In Proceedings of the Twenty-Forth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD'18). [PDF] [slides] [poster] [data & code] [video]