Continual learning of context-dependent processing in neural networks
Continual learning of context-dependent processing in neural networks
摘要：
深度神经网络能够学习出输入输出之间的复杂的映射规则，但是这个规则是固定的，不能够学习出多种场景下的不同的映射规则并根据场景的采用这些规则。正交权重修正以及场景以来的处理模块能够有效的解决深度神经网络的这个限制使得深度神经网络能够适用于现实的多变场景并取得不错的效果。
在（1）需要根据具体场景学习和采用相应映射规则；（2）不同的场景和规则是按照顺序来学习的复杂环境下，深度神经网络缺少这样的灵活性。
Orthogonal weight modification(OWM): 在学习新的映射规则的时候还能保留已经学过的规则；
Context-dependent processing Module(CDP):能够根据场景的信息调整特征的表示从而使得网络能够调用相应的映射规则。
- OWM
DNN在持续性学习中存在灾难性遗忘即学习新的映射规则，会遗忘掉已经学过的映射规则。OWM通过在学习新的映射规则的过程，在对网络参数进行更新时不是直接使用误差进行更新，而是将误差投影到已经学习过的数据空间。假设所有学习任务的样本数据是一个输入空间，则在一个新的学习任务时，将误差都到已经学过的那部分数据所在的子空间，那么投影后的误差用来更新网络参数时不影响这么参数在已完成的学习任务的应用。在计算投影矩阵时可以利用recursive least square(RLS)来迭代计算出投影矩阵就不用保存那些学过的数据。
实验结果：
- Context-dependent processing module（CDP）
CDP模块包括两个网络：
Encoder：以场景信息为输入，提取有效的场景控制特征；
Rotater：跟有效的场景控制特征对数据数据的特征进行旋转后作为OWM classifier的输入。
问题：
- 训练过程：输入数据的特征提取网络是预训练好的还是端到端训练的？
- OWM classifier是预训练好的还是端到端训练的？
OWM-CDP 的网络模型（1）可以快速学习新的类似场景，需要更少的数据，因此能够适应多变的场景；（2）可以有效提取场景的有效信息并学会如何利用这些信息。
- 讨论
OWM-CDP的网络模型受到灵长类大脑运行机制的启发。灵长类视觉通路通过在inferotemporal cortex对影像进行分析提取出大概100个左右的特征。这些特征被送到PFC作物体检测与分类。影像的特征提取的训练是耗时耗力的，人类通常需要好几年甚至几十年时间才能学习出来。但是一旦学习好了之后，在学习新的物体种类的时候，就快多了。这些可以通过联结主义加以理解。PFC除了在快速学习新任务发挥作用之外，另外一个角色是能够表示场景信息并且能够用来对提取的特征进行转换，类似于CDP的作用。
在持续学习场景下，最关键的是在学习新的规则同时保存好已学习到的规则（参数）。在大脑中不同的学习任务使用不同的突触是持续学习的关键。但是类似于OWM，这些“冰冻”的权重（参数）降低了系统的自由度因为在学习新的任务时在更新后的参数是同时能够满足所有的学习任务，这势必导致参数空间越来越小。这是由于这些“冰冻”的权重（参数）能够在不影响在原有学习任务的使用的情况进行修正更新使得OWM能够适应多场景的学习环境。
OWM本质是一种正则化方法，是在新的学习任务与旧的学习任务之间的一个平衡，因为总的模型复杂度是固定的所以在学习新任务的时候用来保存旧的学习的知识的资源是固定的有上限的。不像其他的持续学习方法会自动添加神经元或者网络层使得在学习新任务的时候，模型会变得更复杂。正则化方法不需要添加新的资源就可以取得比较好的结果。其他的持续方法有CAB，CLS，使用context-dependent gating等。其他正则化方法比如Elastic weight consolidation（EWC）已经成功在强化学习得到运用。EWC可以认为是OWM的一种特例，因此OWM-CDP模型在无监督学习尤其在强化学习的使用有重要的意义。