【论文笔记】CVPR2020 Predicting Lymph Node Metastasis Using Histopathological Images Based on Multiple Ins

今年CVPR的论文中，学习了新知识：multi-instance learning，并展示了其在医学图像分析中的应用。作者提出了一种基于多实例学习的方法，用于预测淋巴结转移，通过将大尺寸的whole slide图像分割成小patch来解决计算问题。由于没有实例级标签，作者采用了自监督方法来提取每个patch的特征。具体方法包括使用VAE-GAN进行特征提取，以及基于bag的特征选择和图卷积网络进行分类。实验结果表明，该方法在淋巴结转移预测任务中表现优异。

今年cvpr上发表的医学方向文章数量为何如此之多？其中一个原因是这些文章多涉及掌握新知识：multi-instance learning。

Contribution

该研究团队开发出了一种基于 histopathological images 的方法，用于预测淋巴结转移。因为whole slide images体积较大，难以直接应用，因此他们提出了一种将大图像分割成小块patch，用于multi-instance learning框架中的解决方案。

在没有instance-level annotation的情况下，作者通过self-supervised learning的方法来学习每个patch的特征。

Methods

Instance-level Feature Extraction： VAE-GAN

从功能上来看，GAN的生成器与VAE的解码器具有相同的作用。在保留VAE核心功能的同时，VAE-GAN将reconstruction loss应用于discriminator的特定层的特征提取，这种设计避免了直接在像素级别进行差异计算，从而在保持生成质量的同时，赋予模型更深层次的语义理解能力。这种设计在语义层面带来了显著的意义提升。

Instance-level Feature Selection

一个bag包含多个instance，在测试第k个特征时，从该bag中的每个instance的feature vector中提取第k个特征，并构建其histogram表示。对所有bag重复此过程，将这些bag划分为正类和负类，并计算正负类bag之间的distance。如果计算得到的distance超过阈值，则认为第k个特征是有用的；否则，该特征为无用特征。

最终，每个bag都具备了D个有效的特征。假设每个bag有K个实例，则每个bag都拥有一个K \times D的特征图。

Bag-level Classification

每个bag对应一个graph。每个instance对应一个node，其adjacency matrix的维度为K×K。通过计算instance之间的距离来确定adjacency matrix中元素的值。通过Spectral Graph Convolution层与全连接层的结合，实现分类任务。

Results