EMNLP 2024 中国团队获两篇最佳论文,北大校友斩获三篇杰出论文奖!

Published2024年11月22日


EMNLP会议在自然语言处理领域拥有不可替代的地位。作为计算语言学领域的顶级会议,汇集了世界领先的研究人员、学者和从业者,分享这些领域的最新研究和进步技术。EMNLP 2024 会议于今年 11 月 12 日至 11 月 16 日在美国迈阿密盛大开幕。

15日公布的奖项中,华人学者表现亮眼。最佳论文奖的5篇论文中,3项由分别来着中国科学院大学、上海交通大学、CMU的学者完成。杰出论文的奖项中超半数华人学者参与,其中北大校友Nanyun Peng斩获三篇杰出论文奖。

2024EMNLP大会共收录了2455篇主会议论文和523篇研讨会论文,总论文数量较2023年增加5%,是EMNLP迄今为止收录论文数量最多的会议之一!

最佳论文

Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method

论文链接:https://www.aminer.cn/pub/66f220df01d2a3fbfcbd68df?fr=pdd

论文由郭嘉丰带领的中国科学院大学中科院计算所团队所完成。

郭嘉丰现任中科院网络数据科学与技术重点实验室常务副主任国家优青获得者。在多个国际重要学术会议与期刊上发表学术论文300多篇(如TKDESIGIRAAAICIKM等),获得ACM CIKM 2011最佳论文奖ACM SIGIR 2012最佳学生论文奖ACM CIKM 2017最佳论文Runner-up奖ACM WSDM 2022最佳论文奖。担任ACM TOISInformation Retrieval Journal编委以及主要国际会议的程序委员会高级评审委员,并获得ACM CIKM 2017杰出评审委员。截至目前发表论文共366篇,52项专利,论文引用数超1万,H指数高达53

来源:https://www.aminer.cn/profile/53f438d4dabfaee0d9b7bb26?fr=gfj


      文章提出了一种基于散度的校准方法,用于预训练数据检测。该方法通过计算 token 概率分布token 频率分布之间的交叉熵(散度)来获得检测得分。此外,还开发了中文基准 PatentMIA,用于评估方法在中文文本上的性能。实验结果表明,新方法在英文基准和 PatentMIA 上均优于现有方法。

Towards Robust Speech Representation Learning for Thousands of Languages

论文链接:https://www.aminer.cn/pub/66835f4601d2a3fbfc717ed3?fr=trsr

     文章由上海交通大学CMU丰田工业大学合作完成,值得注意的是团队中成员超半数都是华人学生,一作学者William Chen在CMU语言技术研究所攻读硕士学位,chen与通信作者Shinji Watanabe拥有密切的学术合作,合作论文29篇。

来源:https://www.aminer.cn/profile/53f3232cdabfae9a844620aa?FR=SW

      文章介绍了一种名为 XEUS 跨语言通用语音编码器,致力于处理多种语言不同声学环境下的语音。研究团队整合了现有和新收集的数据,构建了包含 4057 种语言、超过 100 万小时数据的预训练语料库,并引入了增强模型鲁棒性的新自监督任务(声学去混响)。实验结果表明,XEUS 在多个下游任务中表现优异,特别是在 ML-SUPERB 基准测试的多语言自动语音识别任务上达到最新水平,同时在语音翻译和语音合成等任务中也表现突出。

杰出论文

本次杰出论文奖共有20篇论文上榜,其中有超过半数的华人参与,值得注意的是北大校友Nanyun Peng斩获了三篇最佳论文奖

Nanyun Peng 2009年在北京大学获得计算机语言和经济学学士学位,2012年在北京大学获得硕士学位,并于2017年在约翰霍普金斯大学获得博士学位,截至目前发表论文229篇,H指标高达40

来源:https://www.aminer.cn/profile/616d53b46750f855b45eaae2?FR=NYP

Learning to Retrieve Iteratively for In-Context Learning

提出了一种创造性的方法,将 in-context leaming 示例的选择建模为马尔可夫决策过程。

论文链接:https://www.aminer.cn/pub/6678d2dd01d2a3fbfc6e8ee9?fr=learning

Measuring Psychological Depth in Language Models

提供了一套以叙事理论为基础的有用指标,用于评估 LLM 的叙事写作。

论文链接:https://www.aminer.cn/pub/66723c1d01d2a3fbfcc9f285?fr=mpd

Words Worth a Thousand Pictures: Measuring and Understanding Perceptual Variability in Text-to-Image Generation

为文本到图像的生成提出了一种经人工校准的可变性测量方法,并对实际影响进行了全面的学科间分析和讨论。

论文链接:https://www.aminer.cn/pub/666a52ae01d2a3fbfc634da9?fr=wwt

GoldCoin: Grounding Large Language Models in Privacy Laws via Contextual Integrity Theory

提出了一个框架,该框架利用隐私场景公正理论(Contextual Integrity Theory) 将大型语言模型与隐私法对齐,增强了它们在各种上下文中检测隐私风险的能力。

论文链接:https://www.aminer.cn/pub/6670ea1301d2a3fbfc3d4fc2?fr=ggl

Verification and Refinement of Natural Language Explanations through LLM-Symbolic Theorem Proving

提出了一个集成 LLM 和定理证明的神经符号框架,以提高 NLl 任务的自然语言解释的质量和逻辑有效性。

论文链接:https://www.aminer.cn/pub/6634457601d2a3fbfc2d36e7?fr=vrn

When is Multilinguality a Curse? Language Modeling for 250 High- and Low-Resource Languages

对影响 LLM 跨语言预训练和性能的因素进行了广泛而严格的实证调查。

论文链接:https://www.aminer.cn/pub/65558134939a5f4082e41f06?fr=250

Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing

通过对合成数据提供中间基本原理监督,并在 trajectory 上应用 DPO,增强了 LLM 的推理能力。

论文链接:https://www.aminer.cn/pub/65bc4e42939a5f4082a301ae?fr=lpb

Are Large Language Models Capable of Generating Human-Level Narratives?

引入了一个框架,在话语(discourse)层面评估 LLM 生成的叙述。

论文链接:https://www.aminer.cn/pub/6699cc8401d2a3fbfcc303e1?fr=llm

Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge

研究了 LLM 在训练数据信息相互冲突的情况下如何学习。

论文链接:https://www.aminer.cn/pub/67049ca601d2a3fbfc08e091?fr=fif

SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories

创新的基准测试,用于评估基于大型语言模型(LLM)的智能体能否复现来自研究库的结果。

论文链接:https://www.aminer.cn/pub/66e24c4d01d2a3fbfcbe4de1?fr=super

Towards Cross-Cultural Machine Translation with Retrieval-Augmented Generation from Multilingual Knowledge Graphs

解决了翻译与文化相关的命名实体的挑战,挑战了以前关于如何翻译命名实体的观点。


论文链接:https://www.aminer.cn/pub/6715b6b701d2a3fbfc21ecb1?fe=tcc

Which questions should I answer? Salience Prediction of Inquisitive Questions

提出了一种预测语言敏感问题突出程度的方法和数据集,为语言社区内关于人类如何处理信息和信息内容的话语结构的持续辩论提供信息。

论文链接:https://www.aminer.cn/pub/66207e7f13fb2c6cf6b87ca0?fr=qsia

最佳演示论文奖

OpenOmni: A Collaborative Open Source Tool for Building Future-Ready Multimodal Conversational Agents

文章介绍了OpenOmni,一种开源的端到端管道基准工具,旨在促进多模态对话代理的协作开发和性能评估,具有在保证数据隐私的同时实现低延迟和高准确度的能力。

论文链接:https://www.aminer.cn/pub/66b2d8ae01d2a3fbfcf3a734?fr=OpenOmni