论文阅读-3D Fetal Skull Reconstruction from 2DUS via Deep Conditional Generative Networks

基于深度条件生成网络的二维超声三维胎儿颅骨重建

-----基于深度条件生成网络的二维超声图像到三维胎儿头骨重构技术

来源：MICCAI 2018

研究者：Juan P. Cerrolaza1(B), Weiyuan Li1, Carlo Biffi （Discipline of Imaging Sciences and Biomedical Engineering, Queen’s College of London, London, UK）

🃏 相关知识

图1展示了胎儿头部的标准化超声图像。包括三种标准切面：轴位（绿色）、矢状位（蓝色）和冠状位（红色）。此图像显示了从相应三维超声体积中手动分割出的颅骨三维结构的清晰呈现。

🃏 文献目的（解决的问题）

开发出一种新型的深度条件生成网络，在胎儿头面部超声检查中基于标准平面数据实现颅骨三维重构研究。该系统特别关注于位于大脑前叶上方区域的颅区平滑重建过程，并对顶骨与额骨区域进行了建模构建，而排除了面骨、缝线及囟门区域的具体处理

基于条件变分自动编码器（CVAEs）所具有的生成特性研究基础上,我们开发了一种名为RECCVAE的新重建架构,该架构能够直接整合三个典型的二维超声图像平面作为输入条件变量,从而实现对统一颅骨潜在空间的有效重建

二维超声检测中的异常检出率未达推荐标准,具体原因主要包括以下几点:(1)相较于传统二维超声技术,在获取过程中效率较低;(2)开发实时图像处理系统以实现体积信息的动态显示、图形化呈现及三维重建技术成为亟待解决的问题[6];此外,(3)在全球范围内获取高质量三维超声设备的机会有限,特别是在资源匮乏的国家和地区[7]. fetal ultrasound imaging technology is widely regarded as one of the most challenging medical imaging techniques due to its high complexity. Its key characteristics include low signal-to-noise ratio, signal attenuation, and potential loss of information. Additionally, random shadows and occlusions caused by unpredictable fetal movements are commonly observed in this imaging modality.

🃏 数据

包含72组数据的情况下，在每个3DUS扫描头颅体积下分别记录了冠状、矢状及基底脑室正侧位标准切面下的至少一个图像。所有扫描操作均由经验丰富的产科超声医生于常规孕中期B超检查中获取。通过配备具有X6-1 xMatrix阵列传感器的飞利浦Epiq7G US系统进行扫描

数据预处理：采用非局部均值滤波方法对手据进行预处理，并按每维0.50毫米的空间分辨率进行重新采样；将D体积设定为96×96×96体素大小、2D标准平面设定为96×96像素大小；必要时可借助裁剪技术和零填充方法来实现。标准平面对齐方式不做要求，在配置时可以选择镜像或翻转变换策略（例如图1所示的近似定位集合）

患者被随机分为两组，58例用于训练，14例用于测试。

🃏 模型方法

In this study, we introduce a novel architecture aimed at addressing the challenge of fetal skull reconstruction from multiple 2DUS standard head views. Specifically, we propose a deep generative network constructed upon the conditional variational autoencoder (CVAE) framework. Furthermore, we present an alternative hierarchical approach that is dependent on the varying clinical importance of each view. By establishing a specific hierarchy on the 2DUS standard views, our model is able to learn a hierarchy of latent spaces, enabling effective operation even when some predictive views are absent.

开发了一种以条件变分自动编码器(CVAE)为基础的深度生成网络。此外，在分析各视角特有的临床相关性时, 提出了一个替代方案式的多层架构, 该架构在应用条件下变分自动编码器时提取了嵌套式的潜在空间序列, 这种架构使系统即便未被赋予任何目标视角仍能进行有效的推理与重建。

图2展示了为胎儿颅骨重建设计的深度生成模型。（a）该模型基于条件变分自编码器（CVAE）框架构建了重构网络。(b) HiREC-CVAE：一种分层重构方法。

前提知识：

提出了两类基于条件的自动编码器。

Y：胎儿头骨的参数化模型

X1：冠状面 通常仅包含在专用扫描中，用于澄清可疑的发现。

X2：矢状面，确保有一个正常的面部/头部形状。

X3 ：轴面 用于2D生物测定测量(例如，头围和双顶径)。

该模型旨在通过变量组X₁,X₂,X₃去探索变量Y的可能取值范围，并将其视为一种条件生成模型。其中条件概率分布P(Y|X₁,X₂,X₃)被视为一种条件生成模型。在变分自动编码器(CAVE)的上下文中假设生成过程基于标准正态分布Z~N(0,1)进行建模。已知该滞后变量的存在性，在变分自动编码器框架下，默认情况下认为可以从该分布中随机采样得到实例。然而，在这种情况下仅凭有限数量的样本数据难以准确估计出完整的条件概率分布P(Y|X₁,X₂,X₃)。为了弥补这一不足，在变分自编码器架构中引入了一个基于卷积神经网络（CNN）的大规模参数化机制Q

Q定义为：Q(z|Y,X_{1,2,3}) = N(z|\mu(Y,X_{1,2,3}),\sum(Y,X_{1,2,3}))

\mu 和 \sum 是从数据中提取出的任意确定性函数，并作为CNN形式参数化. \sum受限于对角矩阵。

定义： z^i = \mu(Y^i,X^i_{1,2,3}) + \eta * \sum(Y^i,X^i_{1,2,3})

根据公式（1），重建网络可借助卷积神经网络（CNNs）实现。其架构在训练阶段与传统ConvAE具有相似性。该函数采用编码器形式对i，通过μ和σ将变量Y及X₁、X₂、X₃映射至一维潜在空间Z中。

网络结构：

在没有某些标准视图的条件下使得重建网络更具灵活性和操作性

在模型A中，通过多分支卷积神经网络构建Q的表示，并对Y应用三维卷积滤波器处理。每个分支的输出经连接后被映射至两个独立的全连接层以生成均值\mu 和协方差矩阵\sum 。接着将条件变量定义为三个多维高斯分布N(0,I) ，这样设计的好处在于即使在测试阶段X1或X2丢失的情况下 ，也可以通过采样Z1或Z2从相同网络中生成近似值Y 。最后整合各分支输出 ，并从Z\sim N(0,1)中采样生成完整的3D颅骨结构

在模型B中，在分析网络结构就能看出, 全连接层处理的过程中每次引入X_i作为条件变量, 进而, 当缺少一个视图时, 我们从对应的潜在空间中进行采样, 这一操作成功地将缺失部分融入了母体颅骨流形之中

在训练过程中，在垂直轴上应用随机变量缩放，在地面真实体积上实施数据增强。当存在两个或更多个扫描时，在各个标准视图中随机选取一张图像，并分别进行对应的非均匀缩放、随机平移以及旋转操作。

🃏 结果

All the networks were trained over one thousand epochs on an NVIDIA GeForce RTX3xxx (approximately one day per network), employing stochastic gradient descent with momentum (Adam optimizer configured with a learning rate of zero point zero zero one, β₁ equals zero point nine, and β₂ equals zero point nine nine five) within Theano framework, utilizing a small batch size of one.

表1展示了三组不同架构的重建精度对比（包括使用冠状US、矢状US与轴向US三种预测器的情况），其中，在测试阶段禁用3D编码器分支，在REC-CVAE与HiRECCVAE模型中将潜在变量z与z₁设定为零值；当不考虑冠状面或矢状面时（即仅采用轴向US作为预测器），相应的潜在变量分别为REC-CVAE中的Z₁、Z₂以及HiRECCVAE中的Z₂、Z₃也被置零（如图2所示）。

该架构基于上图展示三维模型重建过程，并假设输入为标准尺寸的空间数据集进行处理。若在实际应用中出现某类空间数据缺失的情况，则需相应构建包含多个（X2,X3）预测器的独立网络以保证系统完整性；若仅存在单一缺失情况，则可采用单个X3预测器完成建模任务

基于不同数量的预测器，
HIREC-CVAE的结果表现出不确定性特征。
图像反映了潜在空间内随机采样生成的不同N=50预判结果的标准偏差值。
将置信度表示为上述计算结果，
通过从标准正态分布（即均值为零、方差为一）中抽取样本得到变量z₁,z₂或z₃。
这些图形能够快速生成（每个图形仅需约千分之四秒完成）。
也可用于评估模型重建精度，
进而提示声谱仪操作者应补充更多视图以提高检测准确性。