Deep Neural Networks for Learning Graph Representations——paper 笔记
和主要依赖于奇异值分解（SVD）进行维度缩减的不同在于
采用Deepwalk技术阐述了如何将节点表示转化为低维线性空间，并对两个主要的word向量模型进行了比较分析：一是通过负采样优化的Skip-gram方法；二是基于PPMI矩阵进行的矩阵分解研究。
矩阵分解技术，
基于词语及其共现模式构建词语向量表示，
其主要缺陷在于那些在语义上无意义的元素（如停用词）在生成向量过程中作用被过度放大。
基于此有人提出了pointwise mutual information（PMI）矩阵。
A stacked autoencoderPPMI矩阵是 当PMI为负值时，取0.
PPMI可以被表示为一个高维矩阵，并通过Singular Value Decomposition（SVD）进行分解得到d维因子。 U与V均为正交矩阵，在其分解过程中包含一个对角矩阵作为中间环节。
词向量可以表示为R，通过对角矩阵的top-d 得到。
DNGR模型：
1. 提出 random surfing model 捕获 图结构信心，生成概率共现矩阵，
2. 基于概率共现矩阵计算PPMI矩阵,
3. 使用 stacked denoising autoencoder 来学习低维图节点表示。
random surfing model:
阿尔法的
将无权重图节点嵌入任务转化为线性结构表示的学习任务。其一，在获取加权图嵌入方面存在如何更精确和直接的问题；其二，在学习线性结构节点表示方面是否存在更为有效的替代方法。构建了一个概率共现矩阵用于表征权重部分。
特别指出，在学习图的相关知识时，通过将局部信息转化为线性结构，并结合现有的相关线性模型进行分析研究。
基于AutoEncoder的方法（Autoencoder-based approach），主要聚焦于从原始特征到潜在表示之间的映射关系的学习。该种映射机制可以通过一定数量的数据样本被有效训练并推广至完整的数据集上。特别适合那些需要处理具有超大规模潜在表示的数据场景。然而该方法存在明显缺陷：无法捕捉输入数据中的上下文信息（contextual relationships），这与Word2Vec模型不同，在后者中损失函数（loss）与上下文的相关性密切相关。这种映射机制类似于协同机制（collaborative mechanism），但同样无法提取关键词（keyword）所蕴含的语义信息（semantic information）。