论文阅读：Spectral Networks and Deep Locally Connected Networks on Graphs

论文阅读：Spectral Networks and Deep Locally Connected Networks on Graphs

• 目录

• • Abstract

  • 1 Introduction

  • • 1.1 Contributions

  • 2 Spatial Construction

  • • 2.1 Locality via W
    • 2.2 Multiresolution Analysis on Graphs
    • 2.3 Deep Locally Connected Networks

  • 3 Spectral Construction

  • • 3.1 Harmonic Analysis on Weighted Graphs
    • 3.2 Extending Convolutions via the Laplacian Spectrum

  • 5 Numerical Experiments

  • • 5.1 Subsampled MNIST
    • 5.2 MNIST on the sphere

  • 6 Conclusion

目录

Abstract

• CNN在图像和音频识别中效果出众，这要归功于其利用信号类在其域上的局部转换不变性（local translational invariance）的能力
• 本文尝试将CNN泛化到更广泛的领域中
• 提出两种结构：第一种基于域的层次聚类（hierarchical clustering），第二种基于图拉普拉斯矩阵的谱
• 在低维图上的实验表明，学习带有一系列与输入大小无关的参数的卷积层是可能的

1 Introduction

• CNN在一、二、三维的数据上效果都很好，如音频，图像，视频

CNN能将多种结构结合在一起减少参数数量

• 翻译结构（translation structure）：使用卷积核而非线性映射来共享权重
• 网格上的度量，允许紧凑支持的滤波器，其支持度通常(support)比输入信号的大小小得多
• 网格的多尺度对偶聚类(multiscale dyadic clustering of the grid)，允许子采样，通过跨步卷积和池化实现

CNN的缺陷：

• 然而，在许多情况下，人们可能会面对定义在坐标上的数据，这些数据缺失了一些甚至全部几何属性如在三维网格上定义的数据（例：表面张力或温度），来自气象站网络的测量值，或来自社交网络或协作过滤的数据
• 另一个相关的例子是深度神经网络产生的中间表示。虽然空间卷积结构可以在几层上得到利用，但典型的CNN架构并不假设 "特征 "维度上的任何几何形状

1.1 Contributions

• 输入为弱几何结构，用O(n)个参数获得高效架构
• 引入一个用O(1)参数的构造，讨论了它与一个图的谐波分析问题（harmonic analysis problem）的联系

2 Spatial Construction

将网格（grid）替换成加权图G=(\Omega,W)，

• \Omega是一个离散的大小为m的集合
• W是一个m\times m的对称非负矩阵

2.1 Locality via W

邻域：定义阈值\delta，W矩阵中满足W_{ij}>\delta的点在点j的邻域内

2.2 Multiresolution Analysis on Graphs

2.3 Deep Locally Connected Networks

论文理解Spectral Networks and Deep Locally Connected Networks on Graphs

3 Spectral Construction

图的全局结构可以由其图拉普拉斯矩阵的谱得到并以此概括卷积算子（convolution operator）

3.1 Harmonic Analysis on Weighted Graphs

3.2 Extending Convolutions via the Laplacian Spectrum

参考以下两篇阅读笔记：
论文笔记之Spectral Networks and Deep Locally Connected Networks on Graphs
论文理解Spectral Networks and Deep Locally Connected Networks on Graphs

5 Numerical Experiments

• baseline:knn
• 数据集：mnist
• 对基于空间与基于谱的两种卷积进行比较

5.1 Subsampled MNIST

图中缩写：

• FC是全连接层
• LRF是spatial架构
• MP是max-pooling
• SP是spectral架构
  

5.2 MNIST on the sphere

在一个三维球面上定义一系列均匀分布的点，将mnist手写数据集的图像映射到三维空间中，再如5.1中进行比较

6 Conclusion

• 使用基于图的类似卷积架构，可以大大减少神经网络中的参数数量，而不会恶化（通常是改善）测试误差，同时给出更快的前向传播。这些方法可以扩展到具有大量坐标的数据，这些数据具有位置性的概念。
• 我们认为，通过更仔细的训练和更深入的网络，我们可以在像采样球这样的 "流型 "图上持续改进全连接网络。
• 此外，我们打算将这些技术应用于更少人工干预的问题，例如，在netflix这样的推荐问题上，其中有数据和坐标的双聚类。
• 最后，在特征向量的简单排序上的平滑性改进了结果与局部过滤器，这样的事实表明，可能在比网格结构更一般的情况下，实现使每个过滤器的参数为O(1)的 "双重 "构造。