基于自编码器和孪生框架的乳腺组织病理图像分类方法

在计算机辅助诊断系统中，乳腺癌组织病理图像的自动分类被视为一项关键任务。由于乳腺癌组织病理图像在类间差异较小而类内差异较大的特点，在这些图像中提取适合用于乳腺癌分类的特征较为困难。为此开发了一种改进型自编码器网络体系，在该体系中采用孪生框架（即孪生网络架构），能够有效指导预训练自编码器从组织病理图象中学习出具有较小类内方差和较大类间方差的关键特征参数。通过多尺度高斯金字塔处理技术对输入图象进行预处理后得到多尺度特征图谱;随后在特征提取阶段利用孪生框架约束预训练自编码器学习特性参数，在此过程中实现了对不同类别癌症样本间的显著区分度提升。实验结果显示该方法在BreakHis数据集上的分类准确率达到97.8%，相比于传统算法表现出更好的性能以及更快的学习收敛速度

1. 引言

1.1 深度学习方法

因为组织病理图像具有超高分辨率特性，在直接将其作为深度神经网络输入时会面临计算成本高昂的问题。为此常用的方法是通过滑动窗口技术将图片分割成多个独立的输入片段。研究者Feng等提出了一种随机分离斑块并为其分配原始标签的方法。从所有分块中分类后提取每个样本的独特预测结果作为最终图像预测标签。研究者Alom采用了两种策略来选择图像分块：一种是从样本中随机裁剪分块；另一种则是选择不重叠且按顺序排列的分块。经过多种数据增强处理（如旋转、翻转等），将这些分块输入到初始递归残差卷积神经网络（IRRCNN）模型中进行分类分析。

Sudharshan团队开发了一种融合非参数多实例学习与卷积神经网络（CNN）的技术。该方法将每个图像划分为一个个实例，并将其整体视为一个多袋样本。与现有技术直接对整幅图像进行小块标签分配的不同之处在于, 该方法专注于对病变区域进行标记.通过这种方式, 在任意病变区域被标记为恶性的情况下，默认整个图像被判定为阳性; 若所有病变区域均未被标记为恶性, 则判定结果为良性.

仅关注局部区域信息的基于补丁的方法忽视了区域间的相互作用及全局特征。
Yan团队采用了双向长短期记忆网络模型(BLSTM)，并结合Inception_v3网络提取图像分割域内的特征 patch。
研究者构建了一种混合深度神经网络模型用于分类任务。
通过分时共享各patch特征到BLSTM结构中，在学习过程中同时捕捉到了patch间的相互关系及其内部特征。

Sheikh团队开发了一款创新的Multi-Scale Input and Multi-Feature Network（MSI-MFNET）模型；这种模型能够同时捕捉细节与整体架构，并在提取多层次特征时实现对细节与全局信息的有效平衡。研究者们还发现，在评估复杂的生物过程时——尤其是涉及多种细胞迁移以及细胞间相互作用的情形——Comes研究团队设计了一个多层次的生成对抗架构；此架构能够从各个层次重建图像细节，并预测出高质量跨帧视频。值得注意的是，在这些预测过程中，“跨帧”间的相似性与局部图像块间的相似性表现得极为相像；然而，在组织病理学领域中存在一个显著的问题——各类样本内部差异极大而类别间差异较小的特点会导致分类任务难度加大

1.2 自动编码器（AE）

基于Siamese架构的限制下，在该模型中充当特征提取模块，并将其与SoftMax分类器串联使用以构建乳腺癌组织病理图像分类任务的深度学习架构

因为神经网络的接受野是固定的，在训练过程中无法同时利用全局和局部信息这一局限性下

2. 构建了基于自编码器与SoftMax的模型架构。自编码器通过深度学习机制实现了输入信号的精确还原，并能够有效提取输入数据的关键特征。该方法不仅使得特征提取过程更加科学和客观，在实际应用中还显著提升了效率与准确性。相较于CNN架构，在计算资源需求方面具有显著优势。

3. 为了针对组织病理图像在类别间的方差较小、类别内部方差较大的问题，在预训练自编码器的基础上引入改进型Siamese架构进行约束。通过选择优化后的对比函数作为损失函数，在提升同类样本之间特征高度一致性的同时也能有效区分不同类别的样本特征。

2. 材料和方法

2.1.1 自动编码器(Autoencoder)

自编码器是一种对称结构的神经网络，在无监督学习中进行参数优化以实现数据压缩和重建过程。其机制在于通过最小化重构误差使输入数据与其压缩后的表示之间的差异降至最低水平。如图1所示，在数学模型中假设所有样本服从某一特定分布并采用批量处理策略进行参数更新

。

，

，设

为给定的训练集，其中

为第

张图像的输入向量。

自动编码器通过潜在空间中隐藏表示对输入进行编码，并进而将其还原到原始空间中。训练集X的有效特征可通过最小化输入数据与重建数据之间的差异来提取

与重构数据

用于学习误差的模型或过程。均方误差衡量了输入数据与其重构数据之间相似性的一种指标。损失函数表示为:

训练后,自动编码器的解码器部分被移除,仅保留编码器部分用于特征提取

自动编码器旨在通过最小化输入数据与重构数据之间的误差来学习其关键特征。

2.1.2 孪生框架

该系统由两个镜像的神经网络构成。这两个模型共用相同的权重和偏置参数。尽管它们接收不同的输入数据，在原始数据空间中难以区分的对象会被投影到一个更低维的空间中。

Siamese网络的架构如图2所示，其中

表示特征提取神经网络，

和

分别是

从输入图像

和

在研究过程中提取的特征向量。经过特征提取后，在进一步分析时通过计算特征向量之间的相似度来评估输入图像之间的相似程度

2.2 提出的方法

基于多尺度变换设计的子框图用于图像预处理。通过多尺度输入图像对自编码器实施预先训练，并以此为基础构建Siamese架构网络体系结构。随后将成对获取到的数据样本输入到该网络中并运用对比损失函数来约束提取出的关键特征之间的空间关系距离参数设置上加以优化最终将经过SoftMax分类器处理后的输出结果用于组织病理学图像的质量判定与分类工作当中分别归类为良性和恶性两种类型

通过多尺度输入，在组织病理图像的不同尺度下提取全局特征和局部纹理信息。将图像按不同倍率（如0.125倍、0.25倍等）进行缩放处理后得到五个不同的版本（如0.125×、0.25×等），从而提高了对重要区域的识别能力，并解决了传统方法因固定感受野而无法适应不同尺度问题。

2.2.1 多尺度输入

图像尺度不包括图片本身的尺寸而是衡量其中清晰度的一个指标 例如通过不同视角下的清晰度对比可以看出近距离观察与远距离观察所呈现的比例关系存在显著差异随着视角的变化图片的比例也会逐渐增加当机器视觉系统用于分析未知场景时计算机无法确定被观察物体的实际尺寸因此为了确保能够准确识别目标对象必须建立一套科学合理的尺度描述体系

当我们在提取图像特征时

采用高斯金字塔模型 对数据集进行处理和变换。图像的尺度空间

定义为原始图像

与二维可变尺度高斯函数

之间的卷积运算。具体来说，尺度空间形式表示为

构建高斯金字塔的过程包含两个主要环节。第一步是对图像应用高斯滤波器进行平滑处理；第二步是执行采样操作以生成金字塔结构。

2.2.2 基于自动编码器AE的孪生框架

AE模型具有较好的特征提取效果。但是，如果

和

在输入空间中是相邻的两个图像，在经过Autoencoder进行特征提取后，在特征空间中它们的距离应当非常接近。经过对Autoencoder进行预训练后，在减小同一类别图像之间的距离的同时增大不同类别图像之间的距离，并基于此构建了Siamese框架来进行优化

采用两个自编码器作为基准模型。将输入图像分别经自编码器处理以获取其特征向量，在该网络架构下计算各特征向量之间的相似性。通过优化训练使模型能够更有效地区分同一类别内的样本并正确分类不同类别间的样本。

选择该图像创建一个图像对

其中x(i)与x(j)分别代表两个不同的输入图像；而y(i)与y(j)则是它们对应的标签信息。当这两个输入图像属于同一类别时，则相似度指标y_{ij}设为1；反之，则设为0。接下来需要进行的操作是计算这些相似度指标在整个数据集中的平均值

和

基于欧氏距离进行计算的具体方法是：具体而言，在输入数据中使用x(i)和x(j)作为网络处理的对象时，网络会生成相应的特征向量。通过设置损失函数来优化这些特征向量的具体数值关系。

其中D表示特征提取后的图像对的特征距离，前面已经描述了

、

和y(ij)， m是一个边界参数，用来限制类间距离的最小值。

2.2.3 损失函数

通过更为严格的限制特征间距离来改进模型性能。基于对比损失函数，在同一类别中的输入图像对而言，在正类情况(y_{ij}=1)下, 损失函数可进一步简化为:

当输入的图像对属于不同的类，负对(y(ij) = 0)时，损失函数可简化为:

当两个输入图像来自不同类别且它们之间的距离大于m时，则不会产生损失。核心问题在于如何合理设置这个阈值m的取值范围。通常情况下，默认会根据数据集的距离分布来设定合理的m范围：若m设定过小，则可能导致不同类别间的图像被误判为同一类；而若设定过大，则可能会使模型难以区分一些实际上距离较近但属于不同类别的图像。需要注意的是，在实际应用中不同图像对之间的特征距离可能存在较大差异：因为特征对的距离范围通常是从0到正无穷大（[0, +\infty)），直接使用原始距离值可能不太方便；因此我们引入了Sigmoid函数来进行归一化处理，在此过程中将这些无界的距离映射到一个固定的范围内（通常是[0, 1]）。

最终的损失函数定义为：

通过最小化相似组织病理学图片之间的特征距离，并最大化不同类型图片之间的特征间距来进行组织病理学图片分类特性的学习过程。从而能够有效降低相似组织病理图片中提取出的特征方差的同时保持不同组织路径图中提取出的不同特异度特性以提升模型识别能力基础之上基于训练数据集预先训练Autoencoder模型随后利用预 trained Autoencoder 构建孪生网络架构并通过进一步微调优化网络权重参数以实现将组织路径图片分类为两个类别的目的为此设计了一个包含三层SoftMax全连接层的分类器模块在Siamese架构约束下执行Autoencoder模型特征提取过程选择交叉熵损失函数作为优化目标

3. 结果

3.1 BreakHis 数据集

The BreakHis dataset stands out as the largest publicly available resource for breast histopathology, commonly employed in breast cancer classification tasks. It is generated from breast tissue samples obtained via fine needle aspiration (FNA), colored with sauramine and hematoxylin (H&E), and annotated by pathologists from the Brazilian P&D Medical Laboratory [33]. The dataset comprises 7909 microscopic images, sourced from 82 patients with breast tumors, each image measuring 700 × 460 pixels in RGB format with 8-bit depth per channel, all stored in PNG format. The magnification factors are provided at 40x, 100x, 200x, and 40× using four different objective lenses. This collection includes a subset of 2480 benign images and 5429 malignant cases, with training utilizing approximately 80% of the dataset and testing employing the remaining 20%.

3.2 AE + SoftMax

以AE与SoftMax组成的体系作为基准网络，并通过多尺度处理分析输入图像中特征区分度的影响程度。随后通过AE模型获取输入图像的表征信息后, 利用SoftMax分类器在各个尺度层面上评估所提取特征的质量, 并进一步研究了不同放大倍数下输入图像各尺度层面对分类性能的影响。本实验的主要目标在于为乳腺癌组织病理学图像分类确定一个较为合适的输入缩放比例范围

基于不同的放大倍率设置（4X, 10X, 20X, 40X），特定的多级缩放输入配置（如1X+2X, 0.5X+1X等）在测试中均呈现出显著的识别优势。可以看出，在图像处理过程中基于不同的放大倍率设置会导致相应的原始尺寸有所差异。由此可推出最优的缩放级配置也随之发生变化。

考虑到Siamese网络处理的是特征向量对输入数据之间的关系，并与未采用Siamese框架的自编码器（AE）模型进行比较时发现，在计算效率方面确实存在一定的差距。具体而言，在与现有其他方法相比时发现，在保持相同性能水平的前提下，“改进版”的计算开销显著上升了大约30%。

4. 讨论

恰当的比例特征能够帮助我们实现组织病理图像中乳腺肿瘤类型的分类任务。在实际工作中采用多级输入策略来学习不同比例下的全局信息与局部细节特征表现更为理想。通过在更精细的比例层次上提取图像特征信息不仅能够有效缓解神经网络感知域固定性的问题还能显著提升分类精度的表现效果[1]这一发现得到了实验数据的支持与验证[2]研究表明当采用多个比例层的信息融合方式时乳腺癌细胞亚型识别的整体准确率较单一层次分析方法有明显提升[3]此外通过对不同放大倍数下的组织样本进行系统性研究我们发现当连续变化比例区间时乳腺癌组织病理切片表现出最佳识别效果这一现象得到了实验结果的支持然而如何确定最佳的比例区间组合仍是一个值得深入探究的关键问题。

(2)通过最大限度缩小同类之间的差异和扩大不同类别之间的距离，则有助于提升分类器性能。为此建议采用两个具有共享权重和偏差参数的自编码器作为本研究提出的双层自编码器体系的基础框架。从而使得该分类系统能够更加有效地区分开来良恶性组织病理图像。

5. 总结

采用了基于Siamese框架约束的设计方案充当特征提取器的自动编码器（AE），专门用于构建乳腺癌组织病理图像分类任务的端到端深度学习架构。该模型旨在通过最小化输入与输出之间的视觉相似度来优化有效的图像表示方法；同时确保不同类别样本间的表征差异最大化（类间），而同类样本间的差异最小化（类内）。这有助于提升模型对不同类别间的区分能力。

该模型整合了AE网络的强大特征提取能力和Siamese框架的特性约束机制，在实现对图像更易区分的特征提取的同时也获得了更好的判别效果。通过多尺度变换处理输入图像的能力使得该模型能够同时捕捉到全局和局部的信息特点。实验研究表明，在利用多尺度输入数据的学习过程中所提取出的关键特性不仅显著提升了分类性能水平，并且在具体应用案例中展现出了卓越的表现：准确率高且训练效率优越，在不同病例中的特异性和敏感性表现优异。