论文阅读：Graph-based Region and Boundary Aggregation for Biomedical Image Segmentation
目录
Article information
Related Works & Terminology
Abstract
Methods
Overview
AEM
Graph Based Reasoning
-
Graph Node Initialization
-
Single Graph Reasoning Module
Loss Function
Experiments
Article information
Graph-aided region and boundary integration techniques are employed for biomedical image segmentation.
文献链接：基于图的区域与边界聚合技术用于生物医学图像分割 | IEEE期刊与文集 | IEEE Explore
期刊：IEEE Transactions on Medical Imaging, 2021
重点：综合运用内部区域与边界区域信息，在医学图像分割领域中融合GNN技术
The trained models: https://github.com/smallmax00/Graph_Region_Boudnary
Related Works & Terminology
Based on Pixel-Level Segmentation: For instance, U-Net algorithm extracts pixel-level region information —— it overlooks the detailed internal features.
Boundary segmentation: For instance, Polarmask employs regression towards the center point to determine ray lengths, while neglecting internal information details.
Region and Boundary for Segmentation：一些网络
‘端到端’：什么是‘端到端’？-知乎 安全验证 - 知乎
搬砖工们渐渐变得不再积极主动，在工作中倾向于将原始数据（Raw Data）直接输入系统，并期待系统能够将其转化为有意义的输出结果（Expected Outputs）。通过这些训练数据（Training Data），系统能够生成预期效果。然而，这种便捷性背后存在潜在的问题在于模型逐渐难以解释清楚其决策逻辑。
视神经盘（OD）和视神经杯（OC）
注意力机制
注意力机制
注意力机制
Abstract
以区域边界为基础的多边形回归方法开发了一个新型基于图神经网络（GNN）的深度学习架构，在整合了多个图推理组件的同时通过端到端机制有效地提取并利用区域与边界特征信息。
该机制通过所开发的注意力增强模块（AEM）识别区分区域和边界特征；这些特征被称为初始化区域与边界节点嵌入
基于GNN的方法系统性地综合分析了医学图像的特征信息（包含语义信息）和边界特征（包含空间信息）。
其中区域特征或是边界特征作为图中的两种节点类型，在这种情况下这些连接权重因此得以传递和融合空间信息。
AEM注意力机制模块
a boundary agreement loss function ensures that the predicted region and boundary share the same boundaries.
鲁棒性和泛化能力分别在五个OD/OC分割数据集以及五个结肠镜分割数据集中得到提升
Methods
Overview
输入：结肠镜检查息肉图像
该网络首先通过识别关键区域和提取边界信息来确定初始图节点，并通过层次化的特征融合和逻辑推理完成后续分析。
对边界和区域输出之间的一致性的要求迫使GNN学习相干特征
AEM
128×128、64×64、32×32等都源自自低维空间向高维空间延伸的特征提取过程。等价于每层特征均通过两个自注意力机制（AEM）来进行提取；并基于原始图像数据进行回归分析以获取区域及其边界特徵；从而学习出最佳参数配置。
经过AEM处理后的结果中，在每个特征层的区域和边界信息上分别作为独立节点进行处理。
Graph Based Reasoning
1) Graph Node Initialization
AEM模型对每个特征层生成的region与boundary信息进行了编码，并将其设作图节点。这种设计背后的依据主要包括：第一点是各特征层分别涵盖了图像的不同细节层次（从精细到宏观），而region与boundary信息则整合了领域特定的知识；第二点是在GNN架构中使用消息传递机制能够逐步捕获这些信息间的关联性，在模型训练过程中最终实现图像分割与边界提取目标。
2) Single Graph Reasoning Module
Node Embeddings ：通过双线性插值层，让所有节点有一样的size
Edge Embeddings ：常规图通常采用随机生成边的方式。而在此处，则采用基于数据依赖的方法来决定边的具体连接情况。
Vj -> Vi 的边的公式
vj - vi包含了local信息，vi包含了global信息
Message Aggregation & Nodes Update：
每个节点聚合来自所有相邻节点的跨层（深和浅）和跨域（区域和边界）消息
例如以下所述，在层级结构中存在三种类型的节点连接情况：首先是16×16大小的region node与三个不同尺寸的boundary node相连；具体来说，在层级结构中存在三种类型的节点连接情况：首先是16×16大小的region node与三个不同尺寸的boundary node相连。
在经过三次消息传递后，在所有区域和边界节点中提取它们，并将这些节点融合成一层网络结构
Multi-level Graph Reasoning Modules:
如图所示，同时运行好几个层次的Graph Reasoning Module
Loss Function
暂时没看
Experiments
从视网膜图像中分割OD和OC
从结肠镜检查图像中分割息肉