AIS 2019(ACL IJCAI SIGIR)论文研讨会研究趋势汇总

AIS 2019(ACL IJCAI SIGIR)论文研讨会

文章目录

AIS 2019 (ACL IJCAI SIGIR) 论文论坛
ACL 进展综述-清华刘知远
ACL2019 投稿统计数据
· 预训练语言模型研究
· 小资源场景下的NLP问题探讨
· 模型解释性分析
· 其他相关议题及数据集统计

• (Unreliable) Irrelevant Metric Analysis - Peking University, Dr. Yan Ruan
• • Submission Overview
  • Trend Analysis Graph
  • Learning Metrics Research
  • Multimodal Fusion Technology
  • Knowledge Representation and Reasoning Techniques
  • AI Applications and Their Contribution to Social Welfare

SIGIR-信息检索趋势-人大&清华
* 信息检索概述
* SIGIR主题
* 信息检索领域的发展趋势
* SWIRL会议
* 神经网络在信息检索方面的应用（Neural Information Retrieval）
* 基于知识的信息检索技术（Knowledge Enhanced Information Retrieval）- 知识图谱

* Reference

第20届人工智能与信息科学大会（AIS 2019）是全球三大顶级学术会议的有机融合。其中' A '分别表示自然语言处理领域最高级别的学术会议ACL,' I '为国际人工智能联合会议IJCAI,' S '则为信息检索领域的权威期刊SIGIR。这三个平台汇聚了全球计算机科学与技术、人工智能及其应用领域的最新研究成果。通过结合口头报告与海报展示等多种形式探讨自然语言处理（NLP）与信息检索（IR）等前沿技术的发展动态。

会议全程视频回放

ACL 进展综述-清华刘知远

ACL2019投稿统计

大约2700篇投稿，长文1609 短文 2086（长文录用率25%）

审稿人1610，其中领域主席230人

热门投稿领域与ACL2018一致（比例最高的、NLP进展最快的三个方向）

* Information Extraction
* Machine Learning
* Machine Translation

投稿量激增的比较前沿的几个方向

* Linguistic Theories
* Cognitive Modeling and Psycholinguistics

ACL进展趋势总结

* 预训练语言模型
* 低资源NLP任务
* 模型可解释性
* 更多任务&数据集

这些趋势性综述或许难以全面准确地体现NLP领域的整体发展轨迹。然而，在一定程度上，这是对当前研究热点领域的一个概述。接下来将详细阐述这几个领域的最新发展动态。

1. 预训练语言模型

深度学习2018年所取得的最大进步是非监督的学习方法对文本数据进行建模的过程；从图中可以看出深度学习近年来在自然语言处理领域的显著进展；我们可以将2018年的自然语言处理进展归纳为预训练语言模型的发展。

在2013年之前就已提出针对大规模无监督文本的处理方法。在自然语言处理领域中, word2vec模型能够从大规模无监督文本中提取出相应的词向量表示, 并有效地反映了这些词语的概念关联性。

* 问题：未考虑一词多义，无法处理复杂上下文的相关理解

解决：随着word2vec的提出后，在伴随着LSTM、RNN、GRU以及Transformer等更为复杂的深度学习架构的发展下，有人认为仅使用任务目标及其标注数据就能获得较好的效果。即使仅使用任务目标及其标注数据也能获得较好的效果。值得注意的是，在2018年提出的预训练语言模型实际上是基于较早提出的2013年word2vec技术的一种延伸；我们关心的重点则是这类预训练架构能否有效捕捉上下文语义的信息

预训练语言模型

• ELMo is based on a bidirectional LSTM architecture, as detailed in Deep contextualized word representations.
• OpenAI's GPT utilizes a unidirectional Transformer model, as described in Improving Language Understanding by Generative Pre-Training.
• BERT employs a bidirectional Transformer architecture, as outlined in BERT.

探索方向：多任务、多语言、复杂知识

* [ERNIE: Enhanced Language Representation with Informative Entities](http://arxiv.org/abs/1905.07129)
* [ERNIE: Enhanced Representation through Knowledge Integration](https://arxiv.org/abs/1904.09223)
* [Multi-Task Deep Neural Networks for Natural Language Understanding](https://arxiv.org/abs/1901.11504)
* [Cross-lingual Language Model Pretraining](https://arxiv.org/abs/1901.07291)

2. 低资源NLP任务

问题：当前很多NLP任务缺乏标注数据

解决思路：

• 全无监督方法
• 融入领域知识
• 部分监督方法
• 迁移学习技术（Transfer Learning）
• 少样本学习技术（Few-Shot Learning）
• 元学习框架（Meta Learning）- 元学习框架在低资源神经机器翻译中的应用
• 对抗训练技术（Adversarial Training）
• 多任务学习框架（Multi-Task Learning）

一些新的思路：

• 通过深入分析非平行语料中的模式来系统研究词对译关系及其翻译信息
• 通过对抗训练优化模型参数后使得不同语言在表示空间上更加接近

3.模型可解释性

• 深度学习驱动的自然语言处理模型主要依赖于有限的理解能力局限性，并且缺乏系统化的可解释性。

• 为了推动人工智能人工智能发展必须建立鲁棒性和可解释性的自然语言处理模型。

• 如何促进人工智能系统有效整合知识与信息？

• 记忆网络（Memory Networks）

• 图神经网络（Graph Neural Networks）

• 模型对对抗样本攻击的高度敏感性暴露了其可解释性问题

  • 在数据获取过程中存在严重不足导致模型退化
    模型仅学习到依赖特定训练数据的知识
  • 通过整合知识图谱中的实体关联信息与语义信息来进行上下文推理
  • 在自然语言处理任务中融入外部知识与常识以提升推理能力

4. 更多任务&数据集

• 常识问答

• 多语言任务/数据集

  • 多语言自然语言推理
  • 多语言问答

• 跨段落\跨文档级别

  • 跨段落多步推理问答
  • 文档级别关系抽取(带推理信息)

(Unreliable) Estimation of IJCAI - 北大严睿

由北京大学助理教授严睿博士担任IJCAI主讲人。于2016年8月正式加入北京大学，并在计算机学院任研究员一职。其主要研究领域涵盖自然语言处理、数据挖掘、深度学习及信息检索。在百度自然语言处理部门工作期间 serving as a senior researcher. 如需了解更多信息，请访问个人主页：http://www.ruiyan.me. 他以轻松愉快的方式分享了他的见解，并融入了许多独特的观点和见解。

投稿概述

和AAAI比较来看投稿数量和录用率

AAAI

  * 2017年AAAI: 638/2590 = 24.63%
  * 2018年 AAAI: 933/3800 = 24.55%
  * 2019年AAAI: 1150/7095 = 16.21%

IJCAI

2017年IJCAI: 660/2540 = 25.98%

2018年IJCAI: 710/3470 = 20.46%

2019年IJCAI: (650+200)/4752 = 17.88%

审稿环节

• 组织架构

  • PC主席：沿用单一操作流程已有多年之久，在此期间主席工作繁忙
  • Area Technical Committee(简称ATC)：人数尚不确定
  • SPC（资深PC成员）：约几百人
  • 普通PC：数量众多

• 审稿过程

  • 专业委员会（PC）进行论文评分
  • 科技 park也需要深入前线参与评阅工作，在IJCAI与AAAI的竞争中担任评委角色
  • 处理专家提出的反驳意见
  • 提供评审委员会（AC）的评审意见
  • 最终委员会（PC）作出最终决定

趋势文字图

Pre-training 预训练模型

Learning Metrics

无监督学习

* 当data hungry的深度学习遇上标注数据不够的情况

多任务学习

* 任务之间的关联关系是一个有意思的探索内容

迁移学习

* 是否具有像人一样举一反三的能力

增强学习

* 非常难调，但是效果很好

对抗学习

* 近几年的热点，formulation很优美，缺点仍然也是很难调，也不stable

多模态

IJCAI作为一项集成了多个人工智能领域的会议,主要涉及自然语言处理(NLP).计算机视觉(CV).以及机器学习(ML).等学科.其在多模态场景下的关注重点是如何整合语言(textual).视觉图像(image).与语音 sounds的信息处理机制,并构建统一的模型框架.

知识与推理

主讲人在这部分内容中阐述了自己的一些想法和疑问，在之前展示的趋势分析图中并未呈现'知识(knowledge)'与'推理(reasoning)'这两个关键要素。这一现象可能源于19年的词云数据集采用了小样本生成技术这一事实；由于IJCAI尚未提供完整的收录清单信息；因此这一缺憾尚待补全。就当前AI的学习模式而言，在实质内容上仍显不足；在知识支撑方面也面临着诸多挑战；这些问题确实值得我们深入探讨：

什么是知识:结构化表达?外部数据?

有什么样的知识

怎么利用知识

知识怎么推理

怎么将知识和推理反馈到结果中去

-> Still a long way to go:有一些前期的工作

AI应用与社会福利(AI Applications and Social Good ）

AI会议比较喜欢新应用(IJCAI，AAAI)

大模型驱动下的AI应用

* GPT 2:超大数据，超大参数，超大模型

AI for Social Good

如AI for food，根据图片生成食谱

SIGIR-信息检索趋势-人大&清华

信息检索概述

两个最成功的应用（ Two most successful applications）

* 搜索引擎（Web search engines）
* 推荐系统（Recommendation systems）

三要素： Query - Document - Ranking

Topics（SIGIR 2017）

SIGIR Topics

SIGIR作为信息检索领域的最高水平国际大会，在其 Topics 中可以看出该领域的发展动态。

可观察到在2007年信息检索主要依赖一些无参数模型的情况较为普遍，在这种背景下包括PageRank、BM25和TF-IDF等方法的应用较为广泛。通常无需对模型进行参数训练即可通过排序与组合文档来获得结果。进入2010年后相关研究者们更加致力于发展新的评估机制并聚焦于用户的行为数据逐渐成为研究焦点的问题。随着时代的发展到了2013年个性化搜索问题获得了越来越多的关注推荐系统也逐步成为信息检索中的核心技术之一。随后于2016年间随着机器学习与深度学习技术的进步这两个领域的融合也愈发紧密其中"learning"这一概念更是成为了讨论的重点。

Trends in IR Community

下图展示的是SIGIR收到的有效长文的数量。

SWIRL会议

近两年，在信息检索领域发生了一项重大事件——召开了SWIRL会议。众多信息检索领域的专家以及Influential Figures均出席了这一盛会。仅在三个特殊年份中——分别是2004年、 2012年以及 2018年—— SWIRL会议得以举行。

IR未来的热门研究方向和趋势

即：

对话式信息查找

用信息检索去支持用户的信息需求和决策

机器学习在信息检索领域的应用

等…

神经网络在信息检索方面的应用（Neural Information Retrieval）

本节首先概述了Christopher Manning担任 SIGIR 2016 主讲人时所作的论述。本节指出自 2011 年以来，在语音识别技术、图像处理以及自然语言处理（NLP）领域取得了显著进展。这些成果促使自 2017 年开始探索与信息检索技术的结合，并更加注重自然语言处理（NLP）与信息检索（IR）之间的协同。此外，本节还介绍了由微软Bing课题组负责人 Bhsakar Mitra 所著的著作《An introduction to neural information retrieval》

近年来举办了若干workshops和tutorial，帮助大家了解神经网络在信息检索领域的应用现状以及未来的发展趋势。

两篇论文综述

Neural information retrieval: during its formative stages | SpringerLink

Comprehensive Analysis of Neural Ranking Systems for Information Retrieval-

其中第一篇就早期研究方向进行了较为系统的总结与分析，在现有研究基础上形成了较为完整的理论框架。而第二篇则源于DRMM(2016)模型提出者在2019年所发表的相关综述研究。

神经信息检索其他几个方面

Search vs. QA

在搜索方面基于其已经有一些很强的基准模型 在查询场景下搜索略逊色于QA在查询场景下的搜索能力

基础架构(infrastructure)：Re-ranking vs. ranking

• 探讨重新排列是否能为基础排名带来提升 *
• 在语义匹配中使用倒排索引 *

一些神经模型

* Capsule Network
* GAN
* Reinforcement Learning
* BERT
* …

知识增强的信息检索(Knowledge Enhanced IR)- Knowledge Graph

近年来，在多个领域与知识图谱的深度融合愈发紧密；特别是在对话系统中的应用日益普遍；然而，在信息检索方面的主要难点在于如何根据用户意图进行有效的建模；由于查询词的数量有限且通常数量较少；当我们在尝试将查询词与文档之间的关联时；可以通过整合外部的知识资源来进行推理分析；下图展示的是SIGIR在应用知识图谱方向上的一些workshop：

Reference

1. 官方会议全程回放：完整版深度解析（https://ai.yanxishe.com/page/paperGroup/42）
2. 清华大学刘知远教授：深度分析精选内容（https://www.bilibili.com/video/av54059376）