EMNLP 2022某中心40余篇论文技术速览

某机构在今年的实证方法自然语言处理会议(EMNLP)上发表了40余篇论文，包括被EMNLP新设行业轨道接收的论文。这些论文涵盖了一些熟悉的主题，如自然语言理解和问答，但也涉足了更广泛的领域，包括机器人和地理空间学习等不同主题，其中有两篇论文与双关语生成有关。

查询重写，其应用包括自学习和指代消解，已成为某机构一个活跃的研究领域，今年在EMNLP上有五篇相关论文。此外，还有几篇论文探索了新兴的提示工程领域，即引导大型语言模型产生所需输出类型。

以下是某机构在EMNLP上发表的学术轨道和行业轨道论文的快速指南。

持续学习

• 用于自动化模型更新的迭代分层测试与测量
  • Elizabeth Dekeyser, Nicholas Comment, Shermin Pei, Rajat Kumar, Shruti Rai, Fengtao Wu, Lisa Haverty, Kanna Shimizu
• 迈向基于需求的口语理解模型更新：我们学到了什么？
  • Quynh Do, Judith Gaspers, Daniil Sorokin, Patrick Lehnen
• 基于局部分布近似的自然语言理解无监督训练数据重加权
  • Jose Garrido Ramas, Thu Le, Bei Chen, Manoj Kumar, Kay Rottmann

对话系统

• “为任务导向型对话部署基于检索的响应模型”提出了一种模型，其中交叉注意力层学习历史、配置文件特征和候选响应之间的语义相关性，并由评分函数计算和排序候选响应。
  • Lahari Poddar, Gyuri Szarvas, Cheng Wang, Georges Balazs, Pavel Danchenko, Patrick Ernst
• 面向任务导向型对话系统的对话意义表示
  • Xiangkun Hu, Junqi Dai, Hang Yan, Yi Zhang, Qipeng Guo, Xipeng Qiu, Zheng Zhang
• 在任务导向型对话系统的语言模型中注入领域知识
  • Denis Emelin, Daniele Bonadiman, Sawsan Alqahtani, Yi Zhang, Saab Mansour

评估

• GEMv2：一行代码实现多语言自然语言生成基准测试
  • Sebastian Gehrmann, Abhik Bhattacharjee, Abinaya Mahendiran, Alex Wang, Alexandros Papangelis, Aman Madaan, Angelina McMillan-Major, Anna Shvets, Ashish Upadhyay, Bernd Bohnet, Bingsheng Yao, Bryan Wilie, Chandra Bhagavatula, Chaobin You, Craig Thomson, Cristina Garbacea, Dakuo Wang, Daniel Deutsch, Deyi Xiong, Di Jin, Dimitra Gkatzia, Dragomir Radev, Elizabeth Clark, Esin Durmus, Faisal Ladhak, Filip Ginter, Genta Indra Winata, Hendrik Strobelt, Jekaterina Novikova, Jenna Kanerva, Jenny Chim, Jiawei Zhou, Jordan Clive, Joshua Maynez, João Sedoc, Juraj Juraska, Kaustubh Dhole, Khyathi Raghavi Chandu, Laura Perez-Beltrachini, Leonardo F. R. Ribeiro, Lewis Tunstall, Li Zhang, Mahima Pushkarna, Mathias Creutz, Michael White, Mihir Sanjay Kale, Moussa Kamal Eddine, Nico Daheim, Nishant Subramani, Ondrej Dusek, Paul Pu Liang, Pawan Sasanka Ammanamanch, Qi Zhu, Ratish Puduppully, Reno Kriz, Rifat Shahriyar, Saad Mahamood, Salomey Osei, Samuel Cahyawijaya, Sanja Štajner, Sebastien Montella, Shailza Jolly, Simon Mille, Tianhao Shen, Tosin Adewumi, Vikas Raunak, Vipul Raheja, Vitaly Nikolaev, Vivian Tsai, Yacine Jernite, Ying Xu, Yisi Sang, Yixin Liu, Yufang Hou

事实验证

• 使用依赖树对机器生成文本进行事实验证
  • Alex Estes, Nikhita Vedula, Marcus D. Collins, Matthew Cecil, Oleg Rokhlenko
  • “使用依赖树对机器生成文本进行事实验证”中提出的方法通过输入待验证声明的依赖解析树来识别实体属性。

公平性

• MT-GenEval：用于评估机器翻译中性别准确性的反事实和上下文数据集
  • Anna Currey, Maria Nadejde, Raghavendra Pappagari, Mia Mayer, Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu

幽默

• 情境化双关语生成
  • Jiao Sun, Anjali Narayan-Chen, Shereen Oraby, Shuyang Gao, Tagyoung Chung, Jing Huang, Yang Liu, Nanyun Peng
• ExPUNations：用关键词和解释增强双关语
  • Jiao Sun, Anjali Narayan-Chen, Shereen Oraby, Alessandra Cervone, Tagyoung Chung, Jing Huang, Yang Liu, Nanyun Peng

信息抽取

• 跨语言产品评论摘要的混合方法
  • Saleh Soltan, Victor Soto, Ke Tran, Wael Hamza
• 询问与验证：用于属性值提取的跨度候选生成与验证
  • Yifan Ding, Yan Liang, Nasser Zalmout, Xian Li, Christan Grant, Tim Weninger
• DORE：基于生成框架的文档有序关系抽取
  • Qipeng Guo, Yuqing Yang, Hang Yan, Xipeng Qiu, Zheng Zhang
  • “DORE：基于生成框架的文档有序关系抽取”中提出的方法识别输入文档中同一实体的多个实例，并构建记录实体间关系的关系矩阵。
• 学习为忠实摘要修订参考文献
  • Griffin Adams, Han-Chin Shing, Qing Sun, Christopher Winestock, Kathleen McKeown, Noémie Elhadad
• 弱监督信息抽取中用于训练数据过滤的原型表示
  • Nasser Zalmout, Xian Li

信息检索

• 通过词项影响分解加速学习型稀疏索引
  • Joel Mackenzie, Antonio Mallia, Alistair Moffat, Matthias Petri
• 机器翻译在电子商务多语言搜索中的影响
  • Bryan Zhang, Amita Misra

知识蒸馏

• 将多语言Transformer蒸馏为用于可扩展意图分类的CNN
  • Besnik Fetahu, Akash Veeragouni, Oleg Rokhlenko, Shervin Malmasi
• 知识蒸馏转移集及其对下游自然语言理解任务的影响
  • Charith Peris, Lizhen Tan, Thomas Gueudre, Turan Gojayev, Pan Wei, Gokmen Oz

机器学习

• 用焦点损失校准不平衡分类器：一项实证研究
  • Cheng Wang, Georges Balazs, Gyuri Szarvas, Patrick Ernst, Lahari Poddar, Pavel Danchenko

模型适配

• 元学习差异：为高效适配准备大型语言模型
  • Zejiang Hou, Julian Salazar, George Polovets
• 在“具有自适应负样本的开放世界分类”中，研究人员提出了一种用于区分已知和开放（未知）数据类别的新方法。下图比较了他们的方法(d)与普通监督学习(a)以及自适应决策边界方法(c)。
  • Ke Bai, Guoyin Wang, Jiwei Li, Sunghyun Park, Sungjin Lee, Puyang Xu, Ricardo Henao, Lawrence Carin

多模态交互

• 多模态上下文承接
  • Prashan Wanigasekara, Nalin Gupta, Fan Yang, Emre Barut, Zeynab Raeesy, Kechen Qin, Stephen Rawls, Xinyue Liu, Chengwei Su, Spurthi Sandiri

自然语言处理

• McPhraSy：多上下文短语相似度和聚类
  • Amir DN Cohen, Hila Gonen, Ori Shapira, Ran Levy, Yoav Goldberg
• 基于抽象意义表示的无监督句法受控释义生成
  • Kuan-Hao Huang, Varun Iyer, Anoop Kumar, Sriram Venkatapathy, Kai-Wei Chang, Aram Galstyan

自然语言理解

• 使用基于模型解释的训练样本选择改进大规模对话助手
  • Stefan Schroedl, Manoj Kumar, Kiana Hajebi, Morteza Ziyadi, Sriram Venkatapathy, Anil Ramakrishna, Rahul Gupta, Pradeep Natarajan
• 通过细粒度查询理解改进文本到SQL的语义解析
  • Jun Wang, Patrick Ng, Alexander Hanbo Li, Jiarong Jiang, Zhiguo Wang, Ramesh Nallapati, Bing Xiang, Sudipta Sengupta
• 通过深度度量学习学习冷启动和难解析地址的地理位置
  • Govind, Saurabh Sohoney
  • “通过深度度量学习学习冷启动和难解析地址的地理位置”提出了一种使用深度度量学习处理地址以捕获地理空间距离语义的方法。

提示工程

• DynaMaR：带有掩码令牌表示的动态提示
  • Xiaodi Sun, Sunny Rajagopalan, Priyanka Nigam, Weiyi Lu, Yi Xu, Iman Keivanloo, Belinda Zeng, Trishul Chilimbi
• 诱导器调优：连接前缀调优和适配器调优
  • Yifan Chen, Devamanyu Hazarika, Mahdi Namazifar, Yang Liu, Di Jin, Dilek Hakkani-Tür

查询重写

• 在“CGF：对话式AI中查询重写的约束生成框架”中，研究人员使用trie树（一种每个节点通过一个单词扩展文本的树）来约束生成查询重写的模型输出。
  • Jie Hao, Yang Liu, Xing Fan, Saurabh Gupta, Saleh Soltan, Rakesh Chada, Pradeep Natarajan, Edward Guo, Gokhan Tur
• CycleKQR：无监督双向关键词查询重写
  • Andrea Iovine, Anjie Fang, Besnik Fetahu, Jie Zhao, Oleg Rokhlenko, Shervin Malmasi
• PAIGE：用于对话系统中查询重写的个性化自适应交互图编码器
  • Daniel Bis, Saurabh Gupta, Jie Hao, Xing Fan, Edward Guo
• PENTATRON：用于基于检索的对话理解的个性化上下文感知Transformer
  • Niranjan Uma Naresh, Ziyan Jiang, Ankit, Sungjin Lee, Jie Hao, Xing Fan, Edward Guo
• 用于对话式问答的强化问题重写
  • Zhiyu Chen, Jie Zhao, Anjie Fang, Besnik Fetahu, Oleg Rokhlenko, Shervin Malmasi

问答

• 用于高效准确排序任务的集成Transformer：在问答系统中的应用
  • Yoshitomo Matsubara, Luca Soldaini, Eric Lind, Alessandro Moschitti
• FocusQA：聚焦上下文的开放域问答
  • Gianni Barlacchi, Ivano Lauriola, Alessandro Moschitti, Marco Del Tredici, Xiaoyu Shen, Thuy Vu, Bill Byrne, Adrià de Gispert
• 从答案排序到答案生成的知识迁移
  • Matteo Gabburo, Rik Koncel-Kedziorski, Siddhant Garg, Luca Soldaini, Alessandro Moschitti
• 使用句子级目标预训练Transformer模型以进行答案句子选择
  • Luca Di Liello, Siddhant Garg, Luca Soldaini, Alessandro Moschitti
• RLET：一种基于强化学习的、带蕴含树的可解释问答方法
  • Tengxiao Liu, Qipeng Guo, Xiangkun Hu, Yue Zhang, Xipeng Qiu, Zheng Zhang

机器人技术

• ALFRED-L：探究语言在交互式视觉环境中动作学习的作用
  • Arjun R. Akula, Spandana Gella, Aishwarya Padmakumar, Mahdi Namazifar, Mohit Bansal, Jesse Thomason, Dilek Hakkani-Tür
  • “ALFRED-L：探究语言在交互式视觉环境中动作学习的作用”为用于具身任务完成的ALFRED基准测试提出了一个新的测试分割。该测试分割——ALFRED-L——包含了要求智能体沿着其轨迹回溯到已知参考位置的指令，以评估其是否能记住这些位置。FINISHED