【论文阅读34】DeepMB: Deep neural network for real-time optoacoustic image reconstruction ...

Deep neural networks for real-time photoacoustic imaging incorporating an adjustable velocity of sound

论文题目 ：DeepMB：深度神经网络，实时光声图像重建

作者团队 ：德国纽赫伯格慕尼黑中心生物与医学成像研究所，

论文链接 ：论文链接

代码链接 ：代码链接

发表时间 ：2020

发表期刊 ：arXiv

---摘要---

多光谱光声断层扫描（MSOT）作为一种新兴的功能成像技术，在定量分析多种病理生理和生物标志物方面具有显著优势。然而要实现临床应用必须具备实时处理能力。现有的反投影算法存在一定的局限性 虽然基于迭代模型的重建算法能够提升图像质量 但其计算需求较高 在实时成像方面仍显不足。尽管如此 深度神经网络在解决光声成像逆问题方面具有广泛的应用潜力 然而在实时光声图像重建过程中 深度循环展开的方法并不适用 直接推理方法虽然有效 但在实际应用中仍需面对诸多限制条件。因此 将深度学习应用于光声图像重建的关键在于构建高效的训练数据集 并在此基础上开发出能够适应动态参数调整的高效算法 在本文中 我们提出了一种名为DeepMB的新架构 这种方法通过合成光声信号进行训练 并致力于学习构建高效的光声重建算子 最终实现了与现有最先进迭代基于模型的重建算法相媲美 在性能上接近理论极限 并且在速度上具有显著优势 这一创新框架不仅支持高吞吐量数据采集 和大尺寸图像处理 更能在动态参数设置下灵活适应不同场景 而且已经在多个体内组织切片数据集上取得了令人满意的实验结果 这一成果表明 利用DeepMB框架实现的Real-time MSOT不仅可以提供高质量的反馈信息 还能有效推动动态成像技术的实际应用

---创新点---

深度学习技术在光声成像领域的运用 ：研究团队开发了一种名为DeepMB的深度神经网络架构，在该领域实现了实时光声图像重建过程。这一研究标志着将深度学习技术应用于光声成像领域的重大进展

快速重建速度：该技术能够以31毫秒的速度实现单幅图像的重构。相比传统迭代模型的基础构建方法而言，在速度上提升了约1000倍。这一技术在实时成像领域标志着一次重要进步。

实时声速调节技术：DeepMB系统具备实时调节声速的能力，在多种组织类型中生成更高质量的图像，并显著提升了成像系统的灵活性与准确性。

模型的普适性和一般性：基于合成数据的训练中形成的DeepMB具备了一种无需特定图像特征即可应用到各种场景中的统一重建机制，并显著提升了模型在真实世界环境下的泛化性能。

DeepMB在设计上充分考虑到与现代多光谱光声断层扫描仪在数据传输速率和图像显示尺寸上的兼容性问题，并成功实现了该系统在临床医学成像工作流程中的无缝整合

基于U-Net的创新性网络架构设计 ：该系统采用并在此基础上进行了优化的U-Net架构，并对模型参数进行了合理分配以适应不同SoS值对重建图像的影响这一特点，在现有网络架构中尚属首次采用

学习无偏重建算子：基于包含丰富特性的真实世界图像生成的合成正弦图进行训练的DeepMB系统，能够有效学习出一个无偏的重建操作。这一过程有助于显著提升生成图像的质量与一致性。

临床应用前景：研究表明，在多种体内图像数据集上进行实验分析后发现DeepMB具有良好的临床应用潜力。该研究验证了其在临床成像领域的实际应用价值和操作效能。

---方法---

如图所示的流程图1展示了DeepMB系统的整体架构设计。（a）系统首先从公开可用的数据集中获取真实世界图像样本，并通过物理前向模型生成模拟正弦波形图。（b）随后从六位参与者身上采集不同解剖位置的体内正弦波形数据。（c）为了构建高质量的数据集以供模型训练使用，在合成数据集（A）和体内数据集（B）之间建立起了相互关联的关系体系。（d）系统通过迭代重建算法生成高质量的目标参考图像并完成数据增强处理过程。（E）最终系统利用改进后的训练集、验证集和测试集完成了深度学习模型的参数优化任务。（F）其中关键的技术环节包括：首先通过对输入正弦波形应用时滞操作来进行域转换；其次对SoS进行单精度编码并作为额外通道连接；最后采用U-Net卷积神经网络对多通道信号进行深度学习建模。（G）在整个训练过程中采用均方误差作为损失函数来衡量网络输出与参考图像之间的差异程度。（有关详细的设计原理和技术实现，请参阅"方法/架构设计"部分）

DeepMB网络的训练细节：

实现环境 ：DeepMB网络使用Python编程语言和PyTorch库实现。

数据类型 ：网络训练使用了合成数据和体内数据。

训练周期 ：网络进行了300个epoch 的训练。

优化算法 ：使用随机梯度下降（Stochastic Gradient Descent, SGD）。

超参数设置 ：

• 批量大小（Batch Size）设置为 4；* 学习率（Learning Rate）定为 0.01；* 动量系数（Momentum Coefficient）设定为 0.99；* 学习率衰减因子（Learning Rate Decay Factor）则会在每经过一个 epoch 后将当前值乘以 0.99 进行衰减。

损失函数定义：该网络的损失函数定义为输出图像与参考图像之间差值平方的平均（Mean Square Error, MSE）。

模型选择 ：基于验证数据集上的最小损失选择最终模型。

模型优化工作：训练后的模型经过ONNX格式转换（Open Neural Network Exchange），以提升推理效率。

数据预处理 ：

• 输入正弦图经过一个缩放因子K取值范围是450到1进行处理后限定在[-1, 1]范围内* 。 * 目标图像采用了与输入相同的缩放因子* 。 * 为了减少网络输出值以及过亮像素对损失计算的影响* ， * 在训练和验证阶段使用的目标参考图像进行了开平方处理* 。

后处理步骤：当应用训练好的网络模型对体内部测试数据进行推断时，在获得推断结果后需依次执行以下操作：首先对输出图像进行平方运算得到新的矩阵表示；随后对该结果进行归一化因子K-1的处理以恢复预处理操作。

模型架构 ：

该网络架构基于U-Net模式，在其基础结构上进行了相应的拓展与优化设计。
具体而言，在U-Net结构之前依次增加了三个二维卷积层；这些额外的卷积层分别具有208、160及112个特征通道；通过这种方式逐步降低了数据通道总数；从初始的267（由256个换能器元素与每个换能器可能存在的SoS值采用一位有效编码）减少至最终确定的基础单元数目为64。
每个卷积操作均采用(3×3)尺寸的标准滤波器，并伴随平滑化大小为(1×1)的操作；此外，在所有卷积操作中均引入了偏置参数项；最终激活函数设计采用了绝对值函数。

数据集划分 ：

• 基于合成数据对标准DeepMB模型进行训练时, 将8,000个正弦图像作为训练数据集使用, 将2,000个正弦图像作为验证数据集使用.
• 在体内实验数据基础上对DeepMBin-vivo模型进行培训过程中, 通过穷举所有可能的排列组合方式来构建实验方案. 将参与者按照4:1:1的比例分配至训练组、验证组和测试组. 确保每位参与者在整个实验过程中仅参与一次验证阶段和一次测试阶段.

---实验结果---

实验设备介绍：

• 设备型号：MSOT Acuity Echo 由德国慕尼黑的iThera Medical GmbH公司生产。
• 激光配置：该系统配备了多波长激光组，在25赫兹频率下连续发射小于十纳米秒脉冲用于组织照射。
• 超声探测器：专为该系统设计的超声探测器由法国Voray-sur-l'Ognon 的IMASONIC SAS公司生产。其特点包括：
  • 压电元件数量达256个；
  • 曲面半径达到4厘米；
  • 角度覆盖范围广达125度；
  • 中心工作频率设定为4兆赫兹。
• 噪声降低：通过光屏蔽匹配层抑制来自光-换能器干扰引起的寄生噪声从而扩大至153%的工作频段。
• 数据采集：每进行一次光声扫描时，在50.75微秒时间段内捕捉原始通道数据其采样频率定为40兆赫兹生成一个大小约为2030×256像素的空间图象。
• 实时成像辅助：除了获取共注册B模式超声图象外在成像过程中每隔约6秒切换一次该图象用于实时引导与导航。
• 显示界面：实时成像界面会同时展示光声反投影图象与B模式超声图象并通过扫描仪监视屏提供实时导航参考。

体内数据介绍：

本研究招募了六名健康受试者作为主要招募对象。其中三名为女性受试者、另外三人则为男性受试者。研究参与者均为19至36岁之间的成年人（平均年龄28.3岁±5.7岁）。

根据 Fitzpatrick 评分标准对皮肤类型进行评估时，在Fitzpatrick评价体系下, 参与者对自己的皮肤类型进行了自我评价, 结果分别为II型(2人)、III型(3人)以及IV型(1人)

体型评估：根据被调查者根据自身感受进行分类的结果统计显示：共有2人认为自己属于"苗条体型"（ectomorph），3人认为自己属于"肌肉型"（mesomorph），仅1人认为自己属于"肥胖型"（endomorph）。

研究不仅遵循了慕尼赫·洪霍尔茨中心提供的指南，并且遵守了所有相关伦理规定的要求；同时，在招募过程中均给予了参与者书面知情同意。

为每位参与者执行了从解剖位置到探头方向共计25至29种不同组合的扫描工作

数据采集过程：针对每一种解剖位置与探头方向的组合，在一至四次之间进行了采样。在每个采样周期中持续记录了约10秒的时间段内生成的正弦图像。该波段连续变化于700纳米至980纳米之间，并以每隔10纳米的方式逐步推进。

数据选择 ：在每次采集中，并选取观察到运动幅度最小的29个连续采集得到的正弦图，并最终获得了4814个内部测试用的正弦图数据。

信号处理 ：

• 为选定的所有体内信号应用了带通滤波处理，并将滤波器设置从100千赫兹至12兆赫兹范围内进行调节，以有效去除超出了换能器工作频率范围的谐波成分。 * 通过截断起始部分的前110个时间点来消除信号启动处特有的设备噪声干扰。

图 2 包含了不同解剖部位（如颈动脉组包含 a, e, i, m, q, u 等）、二头肌组包含 b, f, j, n, r, v 等等、乳腺组包含 c, g, k, o, s, w 等等以及腹部组包含 d, h, l, p, t x 等等）的体内测试数据集中的样本实例。前四行依次展现了基于模型的深度重建图像、基于模型重建图像、基于 DeepMB 和 MB 重建之间的像素级差异以及反投影重建图像。每个图像上方用括号标注了数据残差范数 R 值。最后两行则呈现了扫描区域的解剖背景草图以及与 DeepMB 重建结果叠加后的超声成像效果。

图3比较了基于深度模型基础（DeepMB）、模型基础（MB）以及反投影（BP）方法所重建的光声图像在数据残差范数上的表现。（a）基于最佳声速（SoS）值构建的聚焦图像在数据残差范数上覆盖了体内测试集中的全部4814个样本。（b）基于次优 SoS 值重构的焦点外区域的数据残差范数涉及一个包含638个样本的子集。通过逐步增加10米/秒的ΔSoS增量来评估SoS不匹配程度的变化情况，五个子图清晰地展示了这一过程。

• DeepMB 在定量评估中的表现与基于模型的重建方法相当时具优势。
• 使用数据残差范数来衡量重建图像的质量时发现, DeepMB 的结果表现得非常接近基于模型的重建, 明显优于反投影重建。
• 即使在 SoS 值未知的情况下, DeepMB 依然能够表现出与基于模型的方法相近的图像质量水平。
• 通过对关键指标如 MAE、MAErel、MSE、MSErel 和 SSIM 等进行计算, 进一步验证了 DeepMB 重构出的图像与基于模型方法的高度相似性, 而反投影方法在此方面存在明显不足。
• 这些实验结果有力地证明了 DeepMB 是一种可靠且高效的图像重构方法, 它能够在多种工作条件下稳定地输出高质量图像。

• DeepMB 在多光谱图像质量评估领域展现出色表现，在对比性能方面与传统模型重建方法相媲美，并超越了反投影重建技术。
• 体内测试样本经过分类并分离出各具特性的生物学组分，在评估不同重建方法的多光谱图像质量方面发挥重要作用。
• DeepMB 分离出的结果几乎与基于模型的方法无异，在细节刻画方面则明显不如反投影法。
• 通过结构相似性指数、均方误差以及平均绝对误差等定量指标进行计算分析后发现,DeepMB 在多光谱图像重建方面具有显著优势.
• 这些研究结果不仅证明了 DeepMB 在单波长成像上的卓越性能,而且其强大的多光谱成像能力非常适合临床应用,能够有效提供高质量的影像数据。

---讨论---

多光谱光声断层扫描（MSOT）是一种高分辨率的功能成像技术

现有技术的局限性 ： 尽管基于模型的重建方法能够呈现高质量的光声图像，但其依赖于复杂的算法迭代过程和较大的计算资源投入，在实际应用中的实时成像需求往往难以满足。

DeepMB的技术创新体现在： 该研究开发了一种命名为DeepMB的深度神经网络模型；该模型具备根据建模知识自适应重构的能力；能够在仅需31毫秒的时间内生成与基于建模方法还原效果近乎一致的画面。

DeepMB的优势在于其在体内测量方面的良好适应性，在成像过程中可根据实时监测结果自动优化声速参数（SoS）。该系统与当前主流的MSOT扫描仪兼容，在不影响数据采集速度的前提下实现高分辨率成像，在检查过程中为临床医师提供即时、高质量的断层成像反馈。

训练数据的选择 ：DeepMB模型选择人工合成数据集进行训练而非真实人体图像采集。其原因在于人工合成数据集能够提供多样化的图像特征并具有较大的规模，并且这种选择也能够有效降低因体内扫描中可能出现的分布外样本而导致的问题。

训练数据的局限性 ： 在医学成像领域依赖特定类型训练数据（如体内扫描）的方法可能有助于提高重建效果（恢复效果），但这种策略也可能导致模型在新样本上的泛化能力下降（过拟合问题）。

DeepMB的能力在泛化方面表现出色： DeepMB能够准确地将合成训练数据泛化至体内测试数据。这是因为其解决的逆问题具有良好的定义性：即对于每个输入的正弦图来说，都存在唯一的稳定解。

SoS参数的实时调节 ： DeepMB系统具备根据成像过程实时调节SoS参数的能力，并从而实现对各种组织类型产生高分辨率及焦点成像的效果。

未来研究方向 ：未来研究可能将聚焦于在模型训练期间平衡泛化性、准确性和实用性的策略上。例如，在融合真实世界图像的合成数据、体内光声图像和其他生物医学场景的合成数据的基础上，并结合应用领域适应技术。

DeepMB的普适性：基于迭代加速的模型重构方法不仅能够应用于传统的光声（Photoacoustic）重建技术，并且还可以进一步应用于包括超声（Ultrasonic）、X射线计算机断层扫描（X-ray Computed Tomography, X-ray CT）、磁共振成像（Magnetic Resonance Imaging, MRI）在内的多种 imaging modalities。

DeepMB的应用前景：科研人员正在将DeepMB集成到现代MSOT扫描仪的硬件中，并在临床环境中应用于实时成像。