论文阅读笔记-SVD-CNN: A Convolutional Neural Network Model with Orthogonal Constraints Based on SVD
论文题目：SVD-CNN: A Convolutional Neural Network Model with Orthogonal Constraints Based on SVD for Context-Aware Citation Recommendation
发表期刊： Computational Intelligence and Neuroscience（2020）
摘要：上下文感知引文推荐的目的是在给定的引文背景下自动预测合适的引文，这对科研人员撰写科学论文有很大的帮助。在现有的基于神经网络的方法中，权值矩阵的过相关影响语义相似度，这是一个比较难解决的问题。在本文中，我们提出一种新的上下文感知的引文推荐方法，从本质上提高权重矩阵的正交性，探索更准确的引文模式。我们定量地表明，本文中各种参考模式具有相互作用的特征，可以显著地影响链接预测。我们在CiteSeer数据集上进行实验。结果表明，我们的模型在所有度量指标上都优于基线模型。
第一个使用CNN和正交约束框架解决上下文感知引文推荐的工作。
方法：
模型实际上是一个具有两个输入和正交约束的卷积神经网络。
(1)采用word2vec获取原始输入向量，然后利用cnn提取多粒度语义特征；
(2)采用SVD-FC层对多粒度语义特征进行正交增强；
(3)使用全连接层来获得最终的向量表示。采用logistic函数或支持向量机来获得推荐结果。
模型结构图：
0.1 输入层
通过word2vec得到引文上下文c和候选文档d的原始表示。使用TF-IDF计算输入中常用单词的权重，反映在语料库中引文上下文的一个词对候选文档的重要性，如式（1）所示。
其中count(wc,d)表示文档d中单词wc出现的次数，top(w*,d)表示候选文档d中出现次数最多的单词w*的次数，docs(wc,D)表示所有候选文档集合D中包含单词wc的论文数，N表示所有候选文档的总数。
0.2 卷积层
卷积层的输入为引文上下文c和 文档d的特征矩阵，过程如下图所示，公式如公式（2）所示。
0.3 平均池化层
设计了两个池化层，第一种为“w-ap”,w个连续的列的窗口的列平均值，将经过卷积操作s+w-1列的特征图恢复为s列，如下图所示。
第二种为“all-ap”,如下图所示，将所有列标准化，将每个特征图表示为一个向量，生成的特征结合了整个引文上下文或被引用文档的信息。
接下来使用余弦相似度获取引文上下文和候选论文之间的语义关系：
文中使用十层“all-ap”获取多粒度的引文上下文和文档间的语义关系，如下图所示，最终输出特征包含所有的simj和基本特征，然后，将其送给SVD-FC层。当使用所有池化层的输出作为SVD-FC层的输入时，性能会得到提高。
0.4 SVD-FC层
使用SVD将权重矩阵W(W=USVT)分解并替换为US,在替换权重时，对整个样本空间的辨别能力没有负面影响，也没有变化。如下图所示，我们使用权值矩阵的SVD将特征映射到一个正交线性空间。
0.5 输出层
将引文推荐问题视为一个分类任务。在这一层，logistics和SVM可以处理二元分类任务，预测最终的引文关系。
结论和未来工作
我们提出了一个带有正交正则化的卷积神经网络模型来解决上下文感知的引文推荐任务。在我们的模型中，利用SVD对FC层的权值进行因子分解，实现了正交正则化，实质上可以使feature map中的各个向量更加独立。正交正则化也增强了CNN的特征提取能力。实验结果表明，SVD-CNN在CiteSeer上的性能优于其他比较方法。我们的模型只将摘要作为被引论文的内容。在未来，我们将利用论文的全文来探索我们的模型的性能。