Tiled convolutional neural networks(TCNN)
该论文的出处是Le et al.发表于《Tiled Convolutional Neural Networks》期刊上
CNN基于两个关键性质：
1）局部接收域 ——计算的目的
2）权重共享——学习平移不变性。
该方法的一个局限性在于其无法捕获除了恒定参数外的一些特性。具体而言，在卷积神经网络中使用加权共享的方式会导致第二层的所有池化单元都基于相同的滤波器进行操作。
基于计算量与不变性之间的权衡关系提出了一种新的神经网络模型TCNN，在这种模型中相邻单元间的权重设置具有一定的差异性特性，在这种特性下距离较远的单元则具有相同的权重值；并且该模型仅允许相距k个单元的位置上的隐藏单元共享相同的权重系数；当参数k取值为1时则该模型退化为传统的卷积神经网络CNN
上图，k=2，相邻两个单元的隐藏单元的权重相同。
为了实现掌握过完备集的技术要点，在允许多映射的情况下（multi-maps），我们采用在一个局部接收域内通过多组滤波器来提取和学习不同的特征。
上图中，map的数量为3；具有相同颜色标记的单元属于同一映射关系；在每个映射关系中，则共享一致的纹理权重
二、TCNN是基于TICA学习算法的。
TICA相当于一个两层的网络：
第一层网络采用平方作为激活函数类型，在第二层次中使用平方根作为激活函数类型。基矩阵W是通过学习获得的第一层次参数，在第二层次中固定不变，并且反映哪些单元之间相邻以及池化操作的信息。
每一个第二层单元的激活函数为：
TICA学习参数W通过在第二层单元学习到稀疏特征表示，
是白化过的数据。
多种权重与池化机制确保了模型对特征的鲁棒性；稀疏特性的优化支撑了特征的选择性；这些特性构成了模型不变性的基础。
为了降低计算负担，在执行正交操作时，我们仅针对那些具有相同输入单元的不同映射作为权重参数进行正交化处理。