近日，自然语言处理领域权威国际会议NAACL2024（2024年北美计算语言学大会）在墨西哥城成功举行，由王选所万小军团队独立完成的研究论文《Defining and Detecting Vulnerability in Human Evaluation Guidelines: A Preliminary Study Towards Reliable NLG Evalution》荣获会议杰出论文奖（Outstanding Paper Award）。

《Defining and Detecting Vulnerability in Human Evaluation Guidelines: A Preliminary Study Towards Reliable NLG Evaluation》论文链接：https://aclanthology.org/2024.naacl-long.441.pdf 

本篇论文主要针对当前自然语言生成（NLG）人工评价面临的评价指南不规范影响评价结果可靠性和可重复性的问题，首次对评价指南存在的缺陷进行了分类、定义和标注，并进一步探索了利用大模型进行缺陷检测的可能性，最后对评价指南的撰写提出了切实可行的建议。

该项工作由万小军老师指导两名北大硕士生阮洁和王文清完成。

NAACL会议在学术界和工业界享有盛名，与ACL、EMNLP一起视为自然语言处理领域三大权威国际会议。

2024年度NAACL会议共收到2434篇研究论文投稿，最终录用研究论文565篇（录用率23.2%），此外，在ACL Findings子刊上录用304篇（不计入主会论文）。经审稿人和领域主席初步推荐以及最佳论文评审委员会评审，共11篇研究论文获奖（其中2篇论文荣获Best Paper Award，6篇论文荣获Outstanding Paper Award, 3篇论文荣获Special Award）。

本篇论文是其中唯一一篇由中国内地科研机构独立完成的获奖论文。具体获奖论文信息参见：https://2024.naacl.org 。