nature communications论文 解读
The transfer learning based on graph neural networks aims to enhance the accuracy of molecular property predictions within a multi-fidelity framework.
本文深入探讨了，在多保真数据环境下运用图神经网络与迁移学习的结合方式来优化分子性质预测的效果。
研究背景：
在分子性质预测中，不同来源的数据通常具有不同的保真度 ：
- 低保真度的数据集 具有低成本特征（即便宜且易于获取），但仍难以捕捉细节信息。
- 高质量的数据集 能够反映真实系统特性（即更为准确），然而其计算资源需求显著提升（如同类问题中的实验测量或采用高精度量子化学计算）。
迁移学习的基本方法
跨域学习（Transfer Learning）主要是一种应对多保真问题的有效方法。该方法通常包括两个关键步骤：首先是在源领域训练模型；其次是在目标领域进行微调优化。
预训练（Pre-training） ：
基于该低保真数据集 DSD_SDS 进行模型训练，以提取该领域的属性。其结果为该任务的预测器 fSf_SfS。
微调（Fine-tuning） ：
- 将预训练模型的部分权重迁移至高保真领域模型 fTf_TfT，并在其上进行微调。
- 通常情况下会固定某些层（例如卷积神经网络中的图结构单元），并仅对剩余部分进行训练以避免过拟合并降低计算复杂度。
图神经网络中的实现
在 GNN 框架下，模型可以分为两部分：
- 图卷积模块（GCN modules） 深入学习和提炼节点间的局部关系网络特征。
- 聚合模块（readout modules） 整合并映射来自各节点的特征信息到全局表示空间中。
冻结策略：
GNN 的迁移学习可以根据冻结部分的不同分为以下三种方法：
- 固定图卷积层权重：仅更新输出特征，并适用于低保真与高保真领域中特征相似的情况。
- 优化图卷积层结构：通过固定输出特征提取器的方式进行进一步优化。
- 所有层均可训练：无需固定任何参数，并适用于不同领域的数据表现出较大差异的情况。
文章中的实验结果表明，冻结图卷积层、训练读出层 的效果最好。
方法：
迁移学习
：带自适应读出层的图神经网络（GNN） 和 监督式变分图自动编码器（VGAE）
基于图神经网络的多保真度数据迁移学习结构图
图神经网络中的常规读出函数（如加法聚合、平均池化和最大值提取）均未配备可调节参数，在迁移学习场景中表现受限。本研究提出了一种创新性的神经网络架构读出函数设计方法，在整合提取节点特征生成图表示方面展现出显著优势。在微调环节中，在处理小规模下游任务时固定图神经网络用于学习节点表示的主干结构，并对可调参数化的输出层进行微调优化。值得注意的是，在该研究工作中我们采用了基于集合机制的Transformer架构作为读出函数选择依据，并成功保留了传统 readout 函数所具有的排列不变性特性。
在该Transformer架构中，编码模块由多个经典的多头注意力机制构成，并未引入位置编码机制。作为关键组件之一的部分，则是由投影式的多头注意力机制所构建，并通过一系列自注意力子模块链以及线性变换过程实现进一步特征提取。相较于基于集合的传统神经网络结构仅能处理单一元素的情况而言，在本文所提出的自适应读取函数的作用下能够有效建模由邻域聚合过程生成的所有节点表示间的相互作用关系。值得注意的是该架构体系的一个显著特点即在于图表示的空间维度可以通过分离节点输出空间维度并结合聚合方案来进行灵活配置
变分图自编码器（VGAE）
变分图自编码器（VGAE）由概率编码器和概率解码器构成。与基于向量值输入的标准变分自编码器（VAE）架构不同，VGAE通过叠加图卷积层构建编码器部分，并学习表示隐空间编码高斯分布参数矩阵μ和σ。该模型通常假设图具有自环属性（即邻接矩阵对角线元素均为1）。解码器利用sigmoid函数处理隐变量间的内积运算以重构邻接矩阵中的元素值。为了优化证据下界（ELBO）损失函数进行训练，VGAE的目标损失函数由表示学习的重建误差与变分分布q(⋅)与先验p(⋅)之间的Kullback-Leibler散度正则化项组成。由于图的邻接矩阵多为稀疏矩阵（即Aij=0的元素远超Aij=1的数量），因此在训练过程中通常对Aij=0的元素进行采样以提高训练效率。
作者在VGAE的表示空间中加入了前馈组件，并将标签信息融入了其训练优化过程以实现有监督的变分图自编码器事实上从传统的VAE向图扩展到VGAE并非一蹴而就主要原因在于原始VGAE仅恢复了连通性信息而不恢复节点特征这与传统VAE不同后者直接针对实际输入数据进行了优化其次对于分子级别的预测任务以及潜在空间表示VGAE的关键在于其读出机制标准读出函数可能导致类似于完全无监督学习下的空洞表示这在迁移学习任务中表现欠佳因此本文提出的监督变分图自编码器在图表示学习方面标志着重要进展尤其适用于具有挑战性的分子建模任务