Single convolutional neural network model for multiple preprocessing of Raman spectra论文翻译

拉曼光谱多重预处理的单卷积神经网络模型

ABSTRACT

拉曼光谱受到了由噪声、基线漂移和宇宙射线引起的干扰因素的影响，在后续的数据分析中带来了误差。传统的光谱预处理方法如小波变换（WT）、Savitzky-Golay平滑（SG光滑）以及非对称最小二乘（AsLS）虽然能够分别减少单个干扰源的影响程度；但基于这些传统技术的预处理方案都需要经过一系列复杂的步骤操作才能完成；而且每个特定的技术方案只能适用于单一的数据集类型。与此同时，在计算机视觉领域中卷积神经网络（CNN）已经被广泛应用于物体识别、图像超分辨率重建以及自然语言处理等多种应用场景；而在光谱分析领域中仍面临着如何有效去除复杂背景噪声挑战的问题

1. Introduction

拉曼光谱是一种高效、无损的分析技术，在复杂系统中通过解析样品分子组成信息来提供分子指纹特征信息，并引起食品与医药及环境[1–4]等多个领域的广泛关注。然而，在实际应用过程中拉曼光谱测量会受到环境因素、传感器特性以及激光信号等多种噪声源的影响[5,6]。为了从复杂拉曼光谱中提取定量与定性分子信息化学计量学模型被广泛采用[7,8]。为了增强感兴趣区域的光谱特征特性去噪与背景漂移去除等问题已经被广泛研究并开发出多种预处理手段其中包括基于局部多项式逼近的小波去噪方法萨维茨基-戈莱平滑法非对称最小二乘法小波变换法移动平均去噪方法以及经验模式分解等技术手段都被成功应用于实际数据处理工作中【9

在过去几年里，深度学习作为机器学习中的一个重要研究领域而备受关注。由于其强大的特征提取能力，在自然语言处理[24]以及计算机视觉[25]等多个领域得到了广泛应用。近年来的研究表明，在光谱背景去除问题方面也取得了进展。值得注意的是，在深度学习尚未普及的时代，在光谱分析方面的人工神经网络（ANN）仍发挥了重要作用[27]。早期研究者主要基于多层感知机（MLP）构建了神经网络模型，并在此基础上发展出了反向传播人工神经网络（BP-ANN）。随着理论发展和计算能力的进步，卷积神经网络（CNN）应运而生，并逐渐成为主流方向[22,30-32]。作为一种前馈型的人工神经网络结构设计方法论，在CNN中通过特殊的卷积与池化操作实现了高效的特征提取与模式识别功能[31,33]。这种独特的结构设计不仅提升了CNN在复杂光谱数据分析中的表现能力，并显著改善了后续定量与定性建模的准确性水平。此外，在CNN的发展过程中还引入了局部化连接与权值共享的技术特点：一方面能够有效减少训练所需的参数数量；另一方面则通过减少误差积累提升了整体计算效率；这些改进措施也为多层人工神经网络架构的设计提供了重要参考价值

拉曼光谱与近红外（NIR）光谱在分类方面具有重要研究意义。这些方法与逻辑回归（LR）、k-最近邻（KNN）、随机森林（RF）以及反向传播人工神经网络（BP-ANN）模型之间展开了系统对比分析。卷积神经网络（CNN）同样被引入到光谱建模变量选择中来辅助分析。通过权值分布情况研究了池化层和全连接层[31]对频谱特征的影响。从多组样本采集的拉曼光谱中提取出具有高判别价值的神经携带信号区域。Joel Wahl等人深入探讨了卷积神经网络在拉曼光谱预处理过程中的应用效果。为有效消除宇宙射线干扰、噪声污染以及基线漂移影响，在CNN预处理阶段可实现显著的数据质量提升。尽管现有方法能在一定程度上改善复杂体系混合物的定量分析效果仍存在进一步优化的空间。在此研究基础上我们提出了一种创新性的单步去噪方法仅需减少多组拉曼数据集间的相互干扰即可有效解决不同拉曼光谱变量数量不一及来自不同仪器采集样本的问题。该方法通过提取隐层特征实现了对光谱信息的关键属性把握并简化了传统预处理流程从而显著降低了处理时间需求为拉曼光谱预处理技术的发展提供了新的思路

2. Materials and methods

2.1. Materials

本研究中所采用的第一个拉曼光谱数据集来源于含有钙、维生素A和D添加剂的压缩牛奶片糖样本。这些样本共包含了15份拉曼光谱数据集，并覆盖了从250到2339 cm⁻¹的吸收波段。该研究团队已成功将其用于安全信号传输。

第二个研究数据集[36]于2020年3月24日至4月10日在武汉（中国）的医院和污水处理厂中收集了水样的拉曼光谱。研究人员探讨了ACE2 @银纳米棒表面增强拉曼散射（ACE2 @SN-SERS）这一技术，并将其用于检测环境样品中SARS-CoV-2的存在情况。ACE2 @SN-SERS衬底能够产生强烈的拉曼信号；当SARS-CoV-2刺突蛋白被ACE2捕获时，则会受到红移或全光谱改变的影响而减弱信号强度；这可作为一种有效的病毒检测方法。第17个样本采用NIR共聚焦拉曼显微镜（HR进化系统由美国Horiba公司提供），配备785 nm NIR激光器、一个300 l/mm的光栅以及一个半导体冷却探测器（CCD）。所有拉曼光谱数据均通过50倍物镜（数值孔径NA=0.7）、10秒曝光时间及3次叠加处理获取；在光谱采集前，在硅片下完成校准步骤；原始光谱数据集经过基线校正、小波去噪及向量归一化处理后被分割成生物细胞指纹区域（900-1800cm−¹），包含9,999个变量特征

第三个拉曼光谱数据集来源于番茄植株，在区分冻伤番茄与完整番茄方面发挥重要作用。本实验所用的仪器由雷尼肖公司提供，在使用拉曼光谱仪时采用了785 nm的激光光源。其激光输出功率设定为40毫安，并且每次曝光时间固定在1秒。冻伤番茄数据集包含50个光谱片段，在波长范围从505.716 cm−1到1631.18 cm−1之间包含了总计1015个变量信息。

2.2. Data simulation

考虑到拉曼光谱数据集的收集过程受到食物来源及环境因素的影响，在此背景下生成干净的数据至关重要。这些干净的数据将有助于评估优化后的CNN模型的效果。通过预处理步骤对原始光谱进行处理，并采用S-G光滑AsLS和去脉冲法等传统方法进行去噪处理是必要的技术手段。这些干净的数据不仅用于评估优化后的CNN模型的表现，在后续步骤中还被用于构建训练样本库以提升性能水平。为了提高训练效果，在引入高信噪比的噪声峰和平滑峰后引入基线校正机制，并设计合理的峰值提取算法以确保网络的学习效率得到了显著提升。为了扩大训练样本的数量和多样性，在数据扩展过程中采用了信号偏移策略：每个原始信号会被随机左右平移若干个波数区间内的数值，并通过这种方式生成多样化的样本特征向量集合以供后续建模使用。在此过程中设计的数据模拟与增强方法是专门针对从不同分辨率仪器获取的实际未知样本这一应用场景而开发的技术方案

本方案的数据生成流程包含以下四个步骤：
(1)目标数据准备阶段：采用AsLS和SG方法对手指信号进行归一化处理与预处理工作，旨在消除手指信号中的基线漂移现象及噪声干扰。原始实验数据集中未包含宇宙射线退出的相关记录信息。经过上述预处理后获得的三个不同版本的数据样本集合均可作为深度卷积神经网络（CNN）的学习目标数据库。将这些干扰因素整合进该去噪后的基础样本库中，并用于深度卷式神经网络模型的训练过程。

(2)向每个目标数据集添加基线漂移数据：

其中所述的方程式1是一个二次函数形式，在此研究中x代表变量序列的数量而y则表示模拟基准曲线值a作为调节基准曲线高低程度的关键参数系数b则用于确定剖面位置变化幅度的具体数值项这些数学关系式共同构建了基线漂移效应的理论模型框架通过这些方程式的建立和求解过程可以看出基线漂移模拟的方法论基础随后将采用该模型进行计算分析所得结果将被设定为目标数据集

通过模拟复杂系统的动态行为来扩展数据集，并将每个data_b矩阵与其镜像翻转后的矩阵进行叠加（stacking）处理；这种处理方法旨在模拟在复杂系统分析中可能出现的各种干扰和漂移情况（disturbance and drift）。随后，在叠加后的数据集中加入高斯噪声（Gaussian noise）。其标准差设为1且均值设为0，并限定其最大幅值在目标数据最大幅值的2%以内（以内）。经由高斯噪声处理后的原始数据集被称为data_bn（noisy baseline）。

(4)尖峰的模拟：在拉曼光谱中存在一个随机干扰因素（如宇宙射线），其被称为峰值。在对拉曼光谱进行预处理和建模之前需要消除这一干扰。并非所有频谱都会受到峰值干扰，在被噪声污染的数据集中随机位置加入模拟峰值。为了模仿真实情况下的极端影响程度，模拟加入的峰值强度相当于原始光谱最大值的一到两倍标准化后的水平。受峰值影响的数据集命名为data_bns（PN）。

在实践中，在面对复杂样品的拉曼光谱成像测量或采用不同品牌制造的光谱仪器进行分析时（注意：此处应保留...），化合物表现出各自不同的变量数量，并面临来自多方面干扰。为了有效处理复杂的多维数据集，在构建神经网络模型之前（注意：此处应保留...），我们首先按照变量数量整理好各类型拉曼光谱数据

为实现三个数据集的数据矩阵具有相同的维度，在波数方向上拥有相等的数量观察指标而进行处理

分别采用压缩牛奶片糖、SARS-CoV-2以及番茄样品的拉曼光谱进行数值仿真实验，在实验过程中生成了一万个独特的波峰分布特征点集合。这些生成的数据集均被用于独特的人工智能模型的构建过程。
通过上述过程生成的数据集中包含多个样本群组：每个样本群组包含一千个独特波段的数据点，并在此基础上构建了一个容量极大的深度学习网络架构。
从所有样本中选择75%的数据用于模型训练，并将剩余未被选中的部分则用于外部测试评估。
在这些样本群组中每隔一定数量选取一个样本用于超参数优化验证。
子集划分采用Kennard-Stone方法。

2.3. Method

本节将阐述所提出的基于CNN的深度学习模型的设计与实现。我们从多个数据集汇总模拟噪声光谱，并将其整合到一个独特的矩阵中作为输入。该网络通过自适应的学习过程,CNN构建了一个多层次特征映射网络,能够提取并表达复杂的光谱特性。在经过去噪处理和优化后的干净光谱数据监督下,系统能够有效识别并分离出各光谱特征的关键信息,从而实现对原始信号的有效还原与分析

图2呈现了数据集准备过程以及优化后神经网络架构的示意图。在训练CNN时，在单一的数据集上分别进行了网络层数、激活函数选择以及损失函数与优化器参数的有效配置。在此基础上，我们利用混合数据集进一步调优了滤波器数量、卷积层的数量以及噪声的标准差等关键参数。

该模型由四个卷积模块和三个转置卷积模块组成。前三个模块各自经过一个单独的卷积层（如图1所示的Conv1至Conv3），对输入数据进行处理并随后依次接入激活层、退出层和最大值池化操作。第四个模块采用单独的卷积层（Conv4），仅配置了一个激活函数。用于特征提取的关键组件可由公式3进行详细描述。

其中X_{\text{l-1,i}}表示l-1层的输出，在l层数组\text{K}_{\text{l,i,j}}代表l层数量为i\times j尺寸的核函数；\text{b}_{\text{l,j}}表示l层数值偏置项；令\text{M}^{\left(\text{j}\right)}代表所有输入样本的数据矩阵；设\text{X}^{\left(\text{l,j}\right)}为l层数值结果矩阵。\n\n在卷积运算中，在滤波器依次遍历输入频谱的过程中会对l-1层激活值\text{X}_{\text{l-1,i}}所提取出的关键信息进行加权融合。\n\n值得注意的是，在光谱分析任务中那些具有显著特征的信息会获得更高的加权系数。

在人工神经网络中广泛使用的激活函数是ReLU，在卷积神经网络中通常应用于卷积层以引入非线性特性。其工作原理是针对前一层输出（X_i）进行处理，并通过将所有负数值置零的同时保留正数值（如公式所示）。

Xi为输入经处理后的输出结果。Xi同时为激活层后的输出。该操作使得常规卷 convolution神经网络（CNN）不再是简单的线性叠加型结构，并形成了一个能够有效处理非线性问题的新结构。

该层负责筛选出高权重特征并舍弃低权重特征以缩减数据规模；其尺寸设定为二乘二；该过程通过二维二阶滑动窗口按顺序遍历输入空间，并在每个窗口仅记录最高值；经过该处理后输入的空间维度将调整为原尺寸的一半。

在我们的CNN架构中应用了Dropout技术。此方案通过随机置零当前层30%的神经元节点来实现。其主要目标是防止模型过拟合以及降低训练阶段的有效参数数量。

在经过上采样转换后的卷积块处理后，在各频谱特征对应的输入变量中被降到了500×64的数量级。而与传统的回归模型或分类模型不同的是，在我们设计用于拉曼光谱预处理任务时使用的深度神经网络——即卷神经网络（CNN），其输出结果必须与输入端保持一致的空间维度（这需要从切割三个数据集中的变量长度较长的部分提取最终光谱来进行裁剪）。因此，在这一阶段应当特别注意如何获得与原始输入尺寸相匹配的预处理结果；为此建议采用上采样的方法来实现这一目标。在CNN架构中引入转置卷积层作为特征恢复模块来重建光谱特性。整个转换过程由三个独立的转置卷积模块组成，在每一个转换模块内部都会依次搭配一个激活函数来进行运算；通过这种设计策略可以使转换过程既能够同步完成特征重建又能在一定程度上避免因重采样带来的信息丢失问题。

Transposed convolutions在执行可学习参数上采样时扮演了关键角色。这一过程可以被视为与常规CNN不同的机制，并且同样也可以理解为恢复初始特征图形状的操作。使用转置卷积层构建的CNN能够生成与输入图像具有相同尺寸和分辨率的特征图。其滤波器设计类似于传统的卷积滤波器，并且通过训练能够识别样本中的关键特征。值得注意的是，在反向传播过程中计算梯度的方法等同于转置卷积操作本身，在实践中正是基于这种原理实现了高效的逆向传播机制。

其工作原理与传统卷积层相似，在前一层中沿输入空间滑动，并对其所关联的特征进行加权处理。然而，在转置卷积结构中，默认的核心权重矩阵与标准卷积层具有显著差异。通过精确配置输出尺寸参数，可以实现对输出空间尺寸的有效调控。详细讨论了这一技术背景及其理论基础的相关内容，请参考文献[37]。在此研究中，在转置卷积层中主要作用是重构输入信号的空间维度（如1×4000）。

基于上述分析优化后的CNN模型由4层卷积层、7个激活层以及3个最大池化层和3个转置卷积层构成。其中最大池化操作采用了修正线性单元（ReLU）作为激活函数。该神经网络模型能够将被干扰的光谱数据映射至目标光谱输出结果。在实验研究中设定学习率和训练 epochs 数分别为0.0005和30。为了保证模型训练效果，在训练过程中采用了15倍交叉验证策略对CNN进行系统训练。表1列出了与该网络相关的超参数设置情况。值得注意的是，在实际应用中输入端并非理想状态下的光谱数据而是经过噪声污染、基线漂移以及宇宙辐射干扰后的实际观测数据序列输入到网络系统中进行处理运算操作得到预处理后的输出结果即为经过深度学习算法处理后的干净目标光谱数据序列。

评估方法用于衡量CNN学习过程中不同参数设置下的误差水平。我们分析了在CNN中使用L1_loss和L2_loss作为损失函数时的表现（如公式（5）、（6）所示）。

其中Ii是基于CNN计算得到的结果变量,Yi代表目标光谱,而R则表示光谱通道的数量。其值始终为非负数,只有在预测出的颜色图像与真实颜色图像非常接近时,其值才会趋近于零。

该类算法负责更新与评估对模型训练及输出产生影响的关键超参数，并通过最小化损失函数使其逼近或达到最优状态。在本研究中，我们对比分析了Adam、RMSProp、梯度下降以及Adagrad四种优化算法在卷积神经网络（CNN）中的性能表现。这些算法常用于具有不同[38–40]特徵维度的深度学习架构中。本文采用了矩阵余弦相似度（MCS）这一指标来量化输入谱与输出谱之间的相似程度；如公式所示7, MCS提供了一种简便有效的衡量两个矩阵间相似性的方式。一个性能卓越的CNN体系能够在输出特征与目标光谱间维持极高的相似度水平,从而使MCS值趋近于1.

信噪比（SNR）和均方根误差（RMSE）可用于评估CNN模型性能，在我们的工作中具有重要价值。RMSE反映了训练后CNN输出数据与目标数据之间的吻合程度。信噪比通过计算信号与噪声之间的比值（如Eq.8），能够量化模型预测结果的质量。

RMSE被定义为公式9，它给出了输出光谱的残差的分布：

其中,Yi为输出, Yi为目标谱,R为输出谱的总数.

在本研究中

3. Results and discussions

3.1. Results for the models built for single data set respectively

通过单压缩牛奶片糖、SARS-CoV-2和番茄数据集各自建立预处理CNN模型，以探究超参数对模型性能的影响，并避免数据集间的相互作用。在本节里，我们深入研究了多个关键超参数因素：包括神经网络的层数、滤波器尺寸的选择、所采用的不同损失函数形式、使用的优化算法种类以及内核的变化情况，并关注于CNN模型中通道数量的影响。

通过单压缩牛奶片糖、SARS-CoV-2和番茄数据集各自建立预处理CNN模型,以探究超参数对模型性能的影响,并避免数据集间的相互作用。在本节里,我们深入研究了多个关键超参数因素:包括神经网络的层数,滤波器尺寸的选择,所采用的不同损失函数形式,使用的优化算法种类以及内核的变化情况,并关注于CNN模型中通道数量的影响。

图SI 1展示了基于卷积神经网络（CNN）处理压缩牛奶片糖数据集的模拟实验结果、目标数据以及输出轮廓的具体样本实例

对不同数量的卷积层进行了研究，并对其在光谱预处理中的性能进行了评估。当模型中使用2、3或4个卷积层时，在CNN模型中增加更多的卷积神经网络有助于提升其平滑性能。然而，在这种情况下，在基线漂移抑制和峰值去除方面的效果并不理想。此外，在捕捉光谱细节方面仅使用两到三层卷积神经网络的效果较为有限；值得注意的是，在测试集上应用五层卷积神经网络可能会导致过拟合问题，并且其校正效果不够理想。相比之下，在捕捉光谱细节方面仅使用两到三层卷积神经网络的效果较为有限；在这种情况下，在基线漂移抑制和峰值去除方面的效果并不理想

卷积层的空间接受域内使用的滤波器尺寸对于卷积神经网络（CNN）特征捕获至关重要。相比于小尺寸滤波器能够提取更为丰富的光谱信息，在实际应用中通常会优先选择较小尺寸的滤波器以获取更加精细的光谱细节信息。实验表明，在采用不同尺寸组合（如1\times 11、1\times 9及1\times 7等）的卷积层时,CNN展现出在去噪方面的良好效果,然而仅依赖于1\times 3大小的滤波器仍然会在输出结果中残留一定程度的噪声干扰。在当前研究中,我们重点考察了不同尺度下CNN滤波器参数的变化规律:随着模型训练过程的发展,逐渐收缩的滤波器规模能够有效提升CNN对频谱特征的学习能力（如图SI 2所示）。每次训练迭代过程中,CNN模型会对输入频谱数据执行系列行向量过滤操作,这种操作能够在不引入额外噪声的前提下实现对频谱细节的有效捕捉。值得注意的是,当采用基于平方度量矩阵设计的滤波器时,由于计算成本较高且参数优化空间有限,这可能会导致额外引入噪声风险

在本研究中，我们对比了L1_loss和L2_loss作为卷积神经网络（CNN）的损失函数。当采用L1和L2损失函数时，我们评估了Adam优化器、RMSProp优化器、梯度下降优化器以及Adagrad优化器在光谱预处理方面的性能差异。通过采用不同组合的优化器与损失函数进行实验测试后发现，在所考察的所有模型中无论是采用L1_loss还是L2_loss作为损失函数，在所考察的所有模型中表现均较为一致。Adam优 Adam优 Adam优 Adam优 Adam优 Adam优 Adam优 Adam最优算法是一种改进型的梯度下降方法。通过将学习速率限定在一个合理的区间内（参考文献[38]），可以有效防止出现较大梯度值时权值参数剧烈震荡的情况。

为了训练该模型能够处理不同分辨率仪器采集的不同变量数目的拉曼光谱，我们采用了具有更高元素丰富度的数据集来训练该模型。空元素采用两种实现方式：一是补充零值；二是重复处理后的光谱用于训练或测试（参考方法部分）。这两种排列方案生成的结果光谱展示在图SI 4中。基于重复变量对齐的数据进行训练后得到的结果显示在图SI 4（a1-a4）。采用信噪比、SSIM、RMSE及MCS等多个指标评估结果。分析结果显示，在拉曼光谱的不同变量数量情况下，填充零值与重复处理均能有效提升神经网络性能。

在训练过程中，在卷积层中设置了与标准差相关的参数来调节卷积核的变化范围。当滤波器通道的数量增加时，则能够从输入光谱中提取更多细节特征，并有助于提高模型对光谱细微信息的捕捉能力。使用较高的通道数量不仅能够增强模型的表现力，在保证计算效率的前提下提升了输出质量。此外，在本研究实验中我们采用了σ=0.15的标准偏差设置，在信噪比、SSIM、RMSE和MCS等指标上取得了优异的结果。通过引入多个滤波器通道可以在一定程度上扩展模型的感受野并增强特征表示能力。对于希望平衡模型性能与计算资源投入的研究者而言，在本工作中我们选择了配置64个信道以实现这一目的

在其中将它们视为一种经典的神经网络并与本文提出的人工智能模型进行了对比在此基础上研究了一种包含四个完全连接层的人工智能架构其拥有的神经元数量与我们所构建的人工智能模型相仿基于GPU加速技术该人工智能架构能够在同一台笔记本电脑上实现运行过程中并未保留原始光谱中的特征峰信息而是将基线漂移及噪声特征融入处理后的光谱数据（图SI 5）值得注意的是在计算资源投入方面人工干预型深度学习模型所需的时间远高于传统卷积神经网络架构

3.2. Results for models based on mixed data sets from different samples

在本研究中, 我们开发了一个卷积神经网络(CNN), 其目标是通过一次性处理拉曼光谱数据, 实现消除基线漂移、噪声和峰值的效果, 无论这些光谱来自何种物理特征或化学成分。我们将来自三种不同来源的数据集——分别提取自压缩牛奶片、SARS-CoV-2病毒以及番茄——整合起来, 用于本节中所提出的CNN模型训练过程。为了模拟实际场景, 我们向这三个数据集添加了干扰因素（包括基线漂移、噪声以及峰值；如图1所示）。这些干扰因素经过预处理步骤：AsLS去基线、平滑处理以及去除峰值。我们的CNN模型则是基于具有干扰因素的模拟光谱进行训练, 将其映射到经过预处理步骤的目标光谱上。

应用MCS指标、信噪比以及RMSE与SSIM等指标进行评估；通过对比目标数据与所训练的CNN输出结果来评估性能水平；在针对单一数据集设计的CNN模型架构中采用与之相似的一组超参数配置用于优化设计

图3展示了基于从压缩牛奶片糖、SARS-CoV-2样品以及番茄样品中收集到的数据进行模拟的结果。

相较于番茄和压缩片乳糖的光谱而言,SARS-CoV-2废水样品的光谱在红外区域（见图3(b)）呈现更多的弱峰特征,其中特别值得注意的是,在该区域(见图3(b))高背景噪声通常会干扰这些弱峰的表现.基于卷积神经网络的方法能够在无噪声的理想条件下解析纯净成分,即便原始数据中仍含有较高水平背景噪音.

当峰值的强度接近真实的峰值时，它们经常被错误地识别为真实的峰。通过查看图3的数据，即使在存在噪声和基线漂移的情况下，模拟光谱中也会随机出现一些假峰。足够的训练后，优化后的CNN模型能够准确去除这些噪声峰。结果显示该模型能够区分真实峰与假峰。

图4展示了CNN预处理输出谱对比分析所计算出的信噪比、SSIM、RMSE及MCS指标。此外，我们还对模拟光谱与目标光谱进行了对比分析。分别展示了来自番茄样品、压缩片状乳糖样品以及SARS-CoV-2废水样品及其混合基质样本的数据直方图。通过绘制直方图，我们能够清晰地观察到在测试集中的每个频谱所对应的信噪比（PSNR）、相似性指数（SSIM）、均方根误差（RMSE）以及最大重合度（MCS）等关键指标。在图4中展示了两种不同数据类型的对比结果：带干扰的人工合成数据（蓝色柱状图）与基于CNN预处理输出得到的真实信号数据（红色柱状图）。

相较于带干扰的数据，
网络在 SSIM、MCS 和 SNR 等评估指标上均表现出显著提升，
其中 RMSE 指数值明显低于对照组。
其 SSIM 和 MCS 均值接近 1.0，
表明网络输出结果与其预期光谱高度一致。
相较于对照组，
在信噪比方面表现更为突出。
较低 RMSE 值则反映出网络输出结果与其预期值之间的差异较小。

利用主成分分析方法提取前三个主成分的分值如图SI 6所示。采用不同颜色区分样本类型：红色代表番茄标本（包括冻伤与完好的样品），蓝色对应SARS-CoV-2水样标本（来源于环境样品），绿色则为牛奶片样品（来源于食品样品）。在这些基准条件下的实验数据显示显著差异性特征。然而，在引入高水平基线噪声及峰值干扰后，在图SI 6b中呈现出更为紧密的分布趋势。基于冻伤与完好的番茄标本采集方法能够有效识别不同来源的番茄标本特征，在经过深度学习模型处理后可在CNN输出层形成独特的空间光谱模式特征。通过分析结果可以看出，在传统预处理条件下得到干净数据间的距离特性与深度学习模型输出光谱特征具有较高的相似性表现

3.3. The features captured by the hidden layers

为了表明CNN模型中的神经元捕获光谱特征的作用，在文献中有助于解释这些神经元的物理和化学意义。在许多文献中指出，在ANN或CNN模型中隐藏层常被视为一个复杂的黑盒子。通过可视化隐藏层的特征图，在文献中可以展示从第43号隐藏层提取出的光谱特征。

对CNN隐层解码始终充满挑战性，在深度学习框架下的计算机视觉领域的最新研究文献引用了该算法的基础上指出：神经网络模型通过其隐层捕捉图像中的关键视觉特征信息；像素映射反映了复杂图像中的抽象模式信息；为了深入解析这种现象的本质特性，在CNN隐层分析方面仍面临诸多限制；现有的可视化技术虽然能有效呈现其内部表示机制；目前尚未有系统性的统计建模方法可实现这一目标；我们的研究工作通过构建统计模型框架实现了这一目标；这种方法无需预先设计固定的映射函数；它能自动提取样本数据中的潜在规律；从而展现出显著的优势。

由于目前对其物理特性及化学特性的解析仍不够深入，在实际应用中虽然难以准确理解其内在机制。然而，在实际应用中却表现出几个显著的特点：其基准值、噪声水平以及峰值位置等关键指标往往可以通过直观的视觉分析快速识别。这些特点在评估深度学习模型性能时也常被用来考察其输出分辨率与表现力。

在对压缩平板牛奶数据集进行频谱分析后输入至CNN模型时，在隐藏层中能够提取出完整的特征表示。具体而言，在卷积模块经过第1至4个卷积操作后，在各个位置上都能得到对应地生成各子特征响应；而激活网络模块则通过第1至7次迭代进一步强化这些特征信号；随后，在最大值采样模块中则能获得更加浓缩的表征信息；最后，在第4次及随后的操作中，则会通过转换后的卷积模块生成一系列更加精细的特征映射

由64通道、尺寸为1×11的滤波器构成的第一层卷积模块生成4000（沿谱方向）×64（谱特征维度）的空间特征图, 如图5(a1)所示. 第一层提取的特征模式主要表现为尖峰状、基线漂移型以及回环形特征, 在图5中的子图区域(a1至a3)进行了详细展示. 尽管各个通道捕获信号的能力存在差异性表现, 但它们在频域上的分布特性却呈现出高度的一致性. 所有卷积核均采用随机赋值策略初始化, 在此过程中并未对激活后的输出结果进行约束. 通过激活函数的作用机制可以显著提升模型对复杂数据分布的学习能力. 网络架构设计中排除了所有小于零的数据项, 在后续计算环节予以剔除处理.

该处展示了最大池化层处理后的输出结果，在减少数据量的同时有效加快了训练速度。具体而言，在将输入图像尺寸降至2000×64像素的过程中，默认保留了各池化区域的独特特征信息，并且通过这种方式实现了信息的有效浓缩。值得注意的是，在第一层的最大值提取过程中优化了池化策略，在第一阶段的最大值提取过程中成功降低了噪声干扰的影响。进入第二阶段后，在两个独立的空间位置上分别提取出各种细节特征，并通过多通道协同作用形成了更为完整的表征体系；随后又结合激活函数进行非线性转换并生成最终激活响应；最后通过第三阶段进一步去除了由于光栅定位不准确导致的背景干扰

经过最大池化操作后的第三层输出特征图维度为5\times 6。（注：此处可能需要根据具体上下文调整数值表示法）

4. Conclusion

我们构建了一个深度神经网络模型，并从拉曼光谱数据中剔除了各类干扰源（包括压缩牛奶片、SARS-CoV-2废水以及番茄数据集）。这种方法能够一次性消除拉曼光谱中的噪声、峰度和底值等因素，并适用于不同变量数的拉曼光谱数据集。通过结合宇宙射线消除、AsLS和平滑方法等手段后得到的目标光谱与CNN输出结果高度一致（MCS=0.9900）。相较于传统预处理手段而言，基于CNN的方法简化了预处理流程，并显著降低了生成目标光谱所需的时间成本。本研究未涵盖因仪器间差异导致的拉曼漂移问题。基于当前提出的深度学习框架，在其他光谱预处理领域具有广泛的应用潜力，并且未来有望扩展至更为复杂的场景分析。