论文笔记之Spectral Networks and Deep Locally Connected Networks on Graphs

该研究论文发表于nips会议的第2014卷中。其核心贡献在于提出了一种在**不规则网格结构上实现深度神经网络的有效方法。

**

文中有两个并列的模型：

第一个模型

deep locally connect network（spatial construction从空间角度去建立）

该方法仅考虑每个节点的前k个邻居区域。
connect 过程是由聚类生成每层与每层之间的神经元数目，并将上一层的聚类结果映射到下一层神经元的数量上（如图所示）。

xi充当各层输入的角色，在神经网络架构中被赋予特定的功能意义。在这里面，
\Omega代表第几层，
其中灰色区域对应第一层层共有12
1
2
3
4
5
6
7
等共计12个原始样本点，
经过聚类处理后得到第二层数量缩减至6
等共计6个小类群，
最终第三层数量进一步缩减至3个小类群。
值得注意的是，
在这一结构中，
\Omega_0仅包含一个特征量，
\Omega_1则包含了4种不同的特征量，
而到了第三层次则具备了丰富的6种特征量

然后层与层之间的函数关系如下：

F代表每个特征对应的权值向量；共有fk−1个这样的特征向量。Lk代表一个池化矩阵；池化操作采用的方式与上文所述的一致。h是一个激活函数。（文章中所有的激活函数均为relu）

第二个模型
Spectral Construction（从谱域角度建立）

1,2

1,2

1,2

一般进行标准化：

然后根据L计算其特征向量v并构造特征向量矩阵V；接着利用矩阵V, 对参数实施对角化处理, 从而实现频率和平滑度的目标；同时能够将参数从m²个减少到m个；这些操作都可以在傅里叶领域找到对应的解决方案。

F为权重的对角矩阵m个参数，V是L的特征向量矩阵，h为激活函数。

优化：
1）在大多数情况下，矩阵V只有其前d个特征向量具有显著作用。因此，在实际应用中取前d个特征向量进行计算以减少模型参数的数量。

2)通过样条差值的方法，近似的求出这个操作的解，而使权值参数减少到O（1）

**

实验：

基准方法采用的是k近邻算法，
数据集采用了MNIST数据集，并且在进行实验前需将原始图像转换为图结构，
完成了两组实验任务，

实验一： 通过分别采用spatial和spectral架构对construction进行实验研究, 实验结果如图所示. 其中fc代表全连接层, LRF用于构建spatial架构部分, MP为max-pooling操作, sp则表示spectral相关参数.

实验二
将mnist数据集映射到3-d上进行训练实验，实验结果如下