论文学习：Accelerating magnetic resonance imaging via deep learning IEEE 2016

为了加速MR扫描，工作主要集中在三个方向上：

1）基于物理学的快速成像序列；

2）基于硬件的并行成像；

3）基于信号处理的减少样本的MR图像重建 √

本文 ：使用深度卷积自动编码器网络将零填充重建图像直接映射到全重建图像

提出了一种离线卷积神经网络，以学习零填充和完全采样MR图像之间的端到端映射

欠采样的K空间数据

其中 P 是代表欠采样mask的对角矩阵， F 表示归一化为的完整傅立叶编码矩阵， u 是原始图像，因此 Fu 表示完整的k空间数据。 H 代表埃尔米特转置运算。

零填充MR图像 z 为观察数据f的直接逆变换，例如:

就线性代数而言，信号 u 与脉冲 p 的圆形卷积可以写为，其中 P 是对角矩阵，其非零项是脉冲 p 的傅立叶变换。

学习一个完全卷积的神经网络，以从欠采样的傅立叶数据中恢复准确的MR图像。给定MR损坏/真实图像的预先获取的数据集，尝试最小化以下目标
（3）

其中 C 表示端到端映射函数，其隐藏参数Θ= {（ W 1， b 1），…，（ W l ， b l ），…，（ W L ， b L ）}待估计， T 是训练样本的总数。为了提高网络的鲁棒性,将整个图像对分成重叠的子图像对 和 并最小化来 生成更多训练样本

argmin_{\Theta }{\frac{1}{2TN} \sum_{t=1}^{T} \sum_{n=1}^{N}||C(x_{t,n};\Theta )-y_{t,n}||_{2}^{2}}

Forward-pass training subproblems

1.特征生成

与稀疏表示不同，在稀疏表示中，每个提取的图像补丁都由一组预先训练的基数近似，本文作者使用等效的卷积运算[1]并将基数的优化转移到网络学习过程中。 因此，网络的第一层可以描述如下：

C=\sigma(W_{1}x+b_{1})

其中W1表示大小为c×M1×M1×n1的卷积算符，b1为n1维偏置，其元素与滤波器关联。 此处，c是图像通道数，M1表示过滤后的尺寸，n1是滤镜的数量。 对于非线性响应，采用整流线性单位（ReLu，max（0，x）），可以非常有效地计算出[1]。

2.非线性映射

进一步执行非线性映射将 n_{l-1} 维矢量投影到 n_{l} 维中，这在概念上是经过精炼的特征和结构，以表示完整的数据重建图像:

C_{l}=\sigma(W_{1}C_{l-1}+b_{1})

where W l is of a size n l− 1 × M l × M l × n l

3.最后一层卷积
为了从CNN产生最终的预测图像，探索了另一层卷积，并希望学习一组线性滤波器W_{L}，它们能够将系数投影到图像域上

C_{L}=\sigma(W_{L}C_{L-1}+b_{L})

where W L is of a size n L −1 × M L × M L ×c

Backward Propagation

给定训练对（x，y），则向前通过公式5-7计算激活和输出值。 为了更新网络参数，如[16]，执行反向传播以计算相关的梯度。 （3）可以写成

J(\Theta )=argmin_{\Theta }{\frac{1}{2} \sum_{t=1}^{T}||C(x;\Theta )-y||_{2}^{2}}

Let Dl = Wl∗Cl−1 +bl and δl denote the” error term” propagated backwards.

首先计算最后一层梯度：

\delta ^{L}=\frac{\partial J}{\partial b_{L}} =\frac{\partial J}{\partial D_{L}} \frac{\partial D_{L}}{\partial b_{L}} =C_{L}-y

因为\frac{\partial D_{L}}{\partial b_{L}} =1，C_{l}=\sigma (D_{l}), 非线性映射\delta ^{l} 可以被更新为：

\delta ^{l}=\frac{\partial J}{\partial b_{l}} =\frac{\partial J}{\partial D_{l+1}} \frac{\partial D_{l+1}}{\partial C_{l}} \frac{\partial C_{l}}{\partial D_{l}} =(\delta ^{l+1}\bigstar W^{l+1})\bigcirc \frac{\partial (D^{l})}{\partial D^{l}}

其中★表示互相关运算，它不同于前馈遍历中的卷积，而◦表示按元素相乘。 因此，我们可以获得每一层的梯度:

\frac{\partial J}{\partial W_{l}} =\frac{\partial J}{\partial D^{l}} \frac{\partial D^{l}}{\partial W^{l}} =\delta^{l}\bigstar D^{l-1}

\frac{\partial J}{\partial b_{l}} =\frac{\partial J}{\partial D^{l}} \frac{\partial D^{l}}{\partial b^{l}} =\frac{\partial J}{\partial D^{l}} =\delta^{l}

可以用来计算训练阶段的随机梯度\frac{\partial J(\Theta )}{\partial \Theta }

MR reconstruction formulation

一旦从预先获取的数据集中了解了隐藏参数θˆ，就可以通过考虑以下约束优化问题来重建MR图像:

argmin_{u }||C(F^{H}f ;\hat{\Theta})-u||_{2}^{2}}+\lambda ||f-F_{M}u||_{2}^{2}

可以看出，这是一个简单的最小二乘问题 ，允许使用解析解。 最小二乘解满足正规方程:

(1+\lambda F_{M}^{H}F_{M})u)= C(F^{H}f ;\hat{\Theta})+\lambda F F_{M}^{H}f

通过将方程从图像空间转换为傅立叶空间，

其中FF_{M}^{H}F_{M}F^{H}是由1和0组成的对角矩阵。 一个是对角线条目，对应于k空间中的采样位置。F F_{M}^{H}f表示零填充傅立叶测量。 因此，我们有:

Fu(k_{x},k_{y})=\begin{Bmatrix}S(k_{x},k_{y}), if (k_{x},k_{y}) \varepsilon \Omega ) \\ \\ \frac{S(k_{x},k_{y})+\lambda S_{0}(k_{x},k_{y})}{1+\lambda }, if (k_{x},k_{y}) \epsilon \varepsilon \Omega ) \end{Bmatrix}

Combination with CS-MRI reconstruction methods.

除了简单的重建模型，我们还提供了两种与CS-MRI方法集成的选项。 a）顺序模型：两阶段CS-MRI重建。 在第一阶段，从学习的网络生成C(F^{H}f ;\hat{\Theta})。 在第二阶段，使用C(F^{H}f ;\hat{\Theta})初始化CS-MRI，然后使用CS-MRI重建MR图像。

b）集成模型：将网络生成的图像用作参考图像，并将其用作其他正则化项。

argmin_{u}\{||C(F^{H}f ;\hat{\Theta})-u||^{2} + \lambda ||f-F_{M}u|| + \beta Reg(u)\}

其中Reg（u）是稀疏正则项

EXPERIMENTS AND RESULTS

Datasets:

训练数据包含从3T扫描仪（SIEMENS MAGNETOM TrioTim）收集的500多个完全采样的MR脑图像。 图像种类繁多，包括轴向，矢状，水平图像，不同对比度的图像（例如T1，T2和PD加权图像），并且大小各异。 遵照机构审查委员会的政策，从成像对象获得了知情同意。 使用1D低频采样模板和2D泊松圆盘采样模板可追溯获得欠采样测量值。 然后，生成了大小为33×33的大量损坏的/真实的子图像对。最后，将90％的子图像对用作训练数据集，其余10％用于验证训练过程。

Implementation details:

对网络使用三层卷积。参数分别设置为n1 = 64，n2 = 32，M1 = 9，M2 = 5和M3 =5。每层的过滤器权重均由高斯分布的随机值（均值为零且标准差为0.001）初始化。偏差都初始化为0。在配备128G内存和16核处理器（Intel Xeon（R）CPU E5–2680 V3 @ 2.5GHz）的工作站上，培训大约需要三天。

图2显示了一组横向大脑图像的重建结果。使用12通道头部线圈和T2加权涡轮自旋回波（TSE）序列（TE = 91.0ms，TR = 5000ms，FOV = 20×20cm，矩阵= 256×270，切片厚度）对大脑数据集进行完全采样= 3mm）通过3T扫描仪。然后使用1D低频采样模板以3的加速因子和2 Poisson圆盘以5的加速因子对数据进行追溯欠采样。我们还对在GE 3T上采集的矢状脑图像上测试了所提出的方法扫描器（GE Healthcare，Waukesha，WI），带有32通道头部线圈和3D T1加权的渐变梯度回波序列（TE =最小满，TR = 7.5ms，FOV = 24×24 cm，矩阵= 256×256，切片厚度= 1.7mm）。我们可以从图像中观察到网络捕获了很多细节和结构。此外，简单重建模型生成的图像非常接近原始图像。根据图3f，我们可以看到差异图像像噪声一样，仅包含轮廓信息。没有明显的细节和结构丢失。它表明所提出的网络能够恢复在零填充MR图像中丢弃的细节和精细结构。此外，尽管离线培训大约需要三天，但在相同的GPU配置下，每个在线MR重建案例所花费的时间不到1秒。

CONCLUSIONS

本文提出了一种用于加速磁共振成像的离线卷积神经网络，包括对该网络用于欠采样MR图像重建的概念，理论基础，实现和应用的简要回顾和讨论。 体内MR图像的实验结果表明，所提出的网络能够恢复零填充MR图像中丢失的细节和精细结构。 我们还提供了两种选择，可将建议的网络与在线CS-MRI方法结合使用，以实现更高效的成像。 将来的期刊论文中将提供更广泛的实验结果。

参考文献：

【1】https://www.cnblogs.com/zgqcn/p/10869381.html