GraphVQA: Language-Guided Graph Neural Networks for Scene Graph Question Answering
用于场景图问答的语言引导图神经网络
图片不只是一个对象和属性的集合，他们代表了一个互相连接的对象的关系网，场景图作为图像的结构化图形表示，已经成为一种新的表现形式。场景图将物体编码为通过成对边关系连接的节点，
为了在场景图上进行问答，本文提出了 GraphVQA,一个语言引导的图神经网络框架，将一个自然语言问题转换并执行为在图节点上的多次迭代信息传递。我们探索了GraphVQA框架的设计空间，讨论不同设计选择之间的平衡，获得了很好的性能。
Introduction
图像不仅仅是对象或属性的集合。每幅图像代表相互连接的对象之间的关系网络。为了形式化图像的表示，Visual Genome(Krishna等人，2007a)定义了场景图 ，这是一种图像的结构化形式化图形表示，类似于知识库表示中广泛使用的形式。如图1所示，场景图将对象**(例如，女孩、汉堡)** 编码为通过成对关系(例如，持有) 连接的节点作为边。场景图已被引入用于图像检索(Johnson等人，2015年)、图像生成(Johnson等人，2018年)、图像字幕(Anderson等人，2016年) 、理解教学视频(Huang等人，2018年)和情景角色分类(Li等人，2017年)。
消息传递后的最终状态表示答案（比如，托盘），中间状态反映模型的推理，每个消息传递迭代由图神经网络(GNN)层完成，我们探讨了GraphVQA中的各种小新传递设计，并讨论了不同设计选择之间的权衡。
场景图问答与视觉问答密切相关。虽然在场景图生成方面已经有了很多的研究工作，但是场景图的QA仍然是一个相对较少的研究领域。
基于场景图的VQA中的零星尝试(Hu等人，2019年；Li等人，2019年；Santoro等人，2017年)大多提出了主要为完全连通图设计的各种注意机制 ，从而未能对场景图的重要结构信息进行建模和捕获。80我们在GQA数据集上评估GraphVQA(Hudson和Manning，2019a)。我们发现，带有实际GNN的GraphVQA可以大大超过最先进的模型(88.43%比94.78%)。我们在附录A中讨论了额外的相关工作。我们的结果表明，将图形机器学习的最新进展 纳入我们的社区是很重要的。
Conclusion
在本文中，我们提出了GraphVQA来支持场景图上的问答。GraphVQA使用图神经网络将自然语言问题翻译并执行为消息的多次迭代 。我们探索了GraphVQA框架的设计空间，发现GraphVQAGAT(图形注意网络)是最好的设计。
GraphVQA-GAT的性能远远超过最先进的型号(88.43%比94.78%)。我们的结果表明，从图形机器学习的角度重新审视现有的Vision+Language多模态模型具有潜在的好处 。
相对于LCGN ，作者做出了一些调整，其描述如下：
值得注意的是，LCGN的图神经结构可以被看作是反复使用的单一标准GAT层的变体，但具有更多的自设计可学习参数。
LCGN与其他提出的图神经结构的主要区别在于，输出节点和边缘特征将在每一步的推理过程中再次递归地输入到同一层，从而形成了一种rnn式的网络结构，而不是顺序式的网络。
此外，我们的LCGN实现是原始LCGN的一个变体 ，包括一些改进。
- 首先，我们使用Transformer编码器和解码器来获取指令向量，而不是Bi-LSTM (Liang et al.， 2020d)。
- 其次，我们将真实场景图的关系作为边缘，而不是密集连接的边缘。
- 第三，利用边缘属性生成初始节点特征。
实现细节：
Data Pre-processing
对原始场景图中的边缘进行定向处理。
这意味着在大多数情况下，当图中只有一个有向边连接两个节点时，消息只能沿一个方向流动。
然而，这在人类的自然推理方式中是没有意义的。
例如，“A在B的左边”的关系，显然应包含“B在A的右边”的相反关系。
因此，为了增强图的连通性，我们对每条非成对边引入一条合成对称边 ，使其反向指向源节点。
为了对这个反向关系进行编码，我们对原始边缘的特征向量进行反求 并用它来表示合成的对称边缘。
Training details
我们使用Adam优化方法训练模型，学习速率为
，批量为256，每90个epoch学习速率下降(除以10)。
我们为100个时代培养所有的模特。
隐藏状态和单词嵌入向量的维数都是300，后者使用GloVe进行初始化(Pennington et al.， 2014)。
指令向量的维数为512。
报告的所有结果都是单模型设置(即，没有集合)。
我们使用交叉验证 进行超参数优化。
总结，从图形机器学习的角度重新审视先有的视觉语言多模态模型具有潜在好处。
讨论：
从图形的角度处理时，关于问题的指令使用方式 ，即问题的语义驱动图推理的操作是否是有效果的？效果是怎么体现的？ 本文没有做出具体的分析，这种驱动方式是否合理及有效 有待探讨。