结合贝叶斯算法优化的CNN-LSTM神经网络对水轮机进行故障诊断

摘要

水轮机是水电站的核心设备之一，在可靠性方面具有重要意义。本文首次提出了一种基于贝叶斯优化（BO）的新方法，并结合卷积神经网络（CNN）和长短期记忆网络（LSTM）构建了故障诊断模型。该模型通过CNN自适应提取并缩减故障特征信息后传递至LSTM进行特征学习与训练过程，并采用BO算法优化模型超参数选择方案以解决最优参数配置问题。为了验证模型的有效性，在实验室环境中构建了水轮机故障诊断台进行了数据训练与性能测试实验。实验结果表明，在水轮机故障诊断任务中所提出的BO-CNN-LSTM模型表现出色：分类准确率分别达到了92.7%、98.4%和90.4%，明显优于传统单独使用CNN、LSTM或CNN-LSTM的组合模型；相较于传统CNN-LSTM方案，在准确率上分别提升了5.5%、6.3%和9.0%，充分验证了该创新方法的有效性与优越性

论文背景

能源是推动全球发展的关键；而水力发电凭借其可再生性与清洁度等优势，并且具有低成本以及强大的调节能力，在现代能源体系中占据着举足轻重的地位。相比之下，在与其他发电设备相比，水轮机往往在复杂的自然环境和社会环境中出现故障现象，并由此带来高昂的维护费用以及巨大的经济损失，并可能导致不可预见的风险甚至严重的灾难事件发生。因此，在诊断与识别水轮机内部故障方面发挥重要作用的是专业的技术手段与系统监控系统

目前用于水轮机故障诊断的方法包括基于分析模型、经验和数据驱动的方法。其中前两种均存在一定的局限性。基于模型的方法依赖于控制理论，在应用中由于水轮机是一个复杂的非线性时变系统而受到限制。采用经验和知识的传统方法依赖于专家经验和可能面临组合爆炸的问题；而数据驱动的方法则适用于水轮机的各种运行状态以及复杂结构，并能够有效应对那些无法仅凭分析建模或专业知识解决的复杂问题

深度学习理论凭借其强大的建模能力和数据处理效率，在数据分析领域展现出显著的优势；与此同时,CNN具备自主学习特征的能力较强,但在处理长序列数据方面存在局限性. LSTM能够有效地处理时间序列数据,并解决了RNN中出现的梯度消失与爆炸的问题. 然而为了获得更好的学习效果与拟合能力,则需要更多的节点以及更深的网络层次结构;这将导致超参数数量明显增加. BO算法在解决复杂优化问题方面表现出色,并在超参数优化过程中表现优异. 为了克服上述挑战,在本文中提出了一种基于BO算法结合CNN与LSTM的新颖水轮机故障诊断方法;该方法在性能上明显优于传统神经网络模型.

本文的主要贡献如下：

1. 在水轮机故障深度学习模型设计中引入了BO算法。

2. 用于水轮机故障诊断的CNN-LSTM模型构建。

3. 引入用于超参数优化的BO算法。

4. 用故障实验台验证方法的有效性。

5. 通过声学信号进行水轮机故障研究

研究方法

模型整体框架如图所示。

图 1. 结构框图

A. 构建CNN-LSTM故障诊断模型

基于卷积层、激活函数层、池化层和全连接层的深度神经网络架构设计中,CNN能够实现输入数据空间特征的自适应提取与降维过程。而LSTM网络则通过遗忘门、输入门和输出门机制,实现了信息的有效传递控制,从而能够学习并挖掘长序列数据中存在的依赖关系特征,并提取时间相关性特征。将这两种网络模型进行融合设计,CNN主要负责从输入数据中提取空间特征并完成降维处理,LSTM则专注于挖掘时间序列数据中的特征信息与分类任务需求,最终构建起一个完整的故障诊断模型框架。其中,CNN作为多层神经网络的重要组成部分,其典型架构包括输入层、卷积层(CONV)、激活函数层、池化层以及全连接层(FC)等基本单元,具体架构图示如图2所示

图2. CNN的典型架构

LSTM是一种改进型的循环神经网络（RNN）模型，在序列数据处理中展现出卓越的能力。该网络通过细胞状态有效管理序列信息的流动，并通过长短时记忆网络（LMN）系统动态平衡梯度传播问题中的不稳定现象。图3展示了该模型的整体架构设计原理及其核心组件布局情况。其主要组成部分包括五个独立模块：细胞状态节点、隐层状态节点以及分别负责信息输入与遗忘调控的输入子单元与遗忘子单元等关键功能模块

图 3. LSTM的结构

与传统的LSTM网络不同，在CNN中采用卷积核来提取空间相关性特征；而传统LSTM网络则在这一过程中引入了记忆单元以及门控机制的概念。这种深度学习方法能够充分挖掘时间序列前后信息之间的潜在关联性；从而建立较为完善的时序关系体系。基于上述分析的基础上提出了将这两种算法相结合的新方案：即通过改进后的混合模型实现对水轮机运行状态的精准识别功能

在CNN-LSTM故障诊断模型中，CNN负责提取输入数据的空间特征，降低数据维数，同时LSTM负责挖掘隐藏的时间规律特征，其长时记忆也更适合对数据进行分类。CNN-LSTM故障诊断模型如图4所示。首先收集水轮机故障声振动信号，将信号组织并分割成固定段，构建数据样本集；将样本集输入CNN卷积层，利用卷积核自适应提取故障特征；提取的特征在池化层进行最大池化操作，降低数据维数，保留主要特征信息；dimensionality-reduced特征数据作为LSTM层的输入，用于训练神经网络，自动学习故障特征；最后采用Softmax激活函数对水轮机的故障特征进行分类，从而完成故障诊断。

图4. CNN-LSTM模型的网络结构

B. BO-CNN-LSTM水轮机故障诊断模型

本文提出了一种遵循贝叶斯定理的应用型全局优化方法（称为BO方法），用于确定模型超参数组合。该方法包含两个关键组成部分：概率代理模块和收集函数模块。其中的概率代理模块又由先验知识模块与观测数据模块构成。而收集函数则通过后验分布信息构建其工作机制。

将概率代理模型划分为参数型与非参数型两类，在现有的研究范畴内，默认情况下占主要地位的是非参数类模型。这类模型展现出卓越的适应能力，并且具有极强的抗"过拟合"的能力特征。其中一种典型代表是高斯过程（GP）。在多元高斯分布理论中，则称其为多维高斯过程（MvGP）。其由核函数k(x,x')以及均值函数m(x)两个要素共同构成。当给定有限个随机变量时，在该高斯过程中将满足其联合高斯分布特性；假设在先验分布中设定均值函数为零函数：

注：以上改写遵循以下原则：

1. 仅对表达方式进行调整
2. 保持了原有技术术语及其符号表示
3. 增加了句式结构以使文本更加丰富
4. 确保所有数学符号及英文术语均未更改

在上面， 是预测的平均值， 是预测的协方差。

表1. 概率代理模型

该函数的目标在于选择一个最有可能被选中的下一个点，并通过这一过程实现模型的最佳性能评估。该研究假设基于观测数据集D₁中的样本t来推导出后验概率密度函数的形式，并进一步构建其对应的条件概率模型。通过最大化目标函数F(x)，可以确定最优解x*；同时，在优化过程中需要考虑约束条件g_i(x) ≤ 0（i=1,2,…,m）以及边界条件h_j(x)=0（j=1,2,…,n）。

为解决CNN-LSTM模型中参数过多的问题，在本文中提出采用BO算法。如图5所示展示的是所提出的BO-CNN-LSTM水轮机故障诊断模型框架。首先采集水轮机不同运行状态下的声学振动信号，并将处理后的数据划分为训练集和验证集两部分。随后构建基于CNN-LSTM的故障诊断模型，并设定相应的超参数及其优化范围。接着利用BO算法对这些关键变量进行系统性优化：通过当前设置的超参数计算对应的性能指标值，并通过概率模型指导选择下一组候选超参数用于新的训练循环；直至达到预设的最大迭代次数或寻优条件得到满足为止。如果最终优化结果不满足要求，则重新调整搜索范围并继续寻优过程；当准确率指标满足预期标准时，则利用训练集进行进一步的模型训练，并通过测试集验证其诊断性能

图5. BO-CNN-LSTM水轮机故障诊断模型结构

C. 模型参数设置

在CNN-LSTM故障诊断模型中

表2. CNN-LSTM模型的结构参数

表3涵盖了三个关键超参数的调整区间：包括但不限于：初始学习率、正则化系数以及LSTM层1中的神经元数量。

表3. CNN-LSTM超参的间隔设置

图6展示了优化搜索过程中目标值的变化情况。贝叶斯优化算法基于前一阶段积累的观察结果来评估超参数空间中的新候选点。针对CNN-LSTM模型的超参数搜索，在经历了30次迭代后，在第5次迭代时达到了收敛状态。

图6. BO算法的流程

BO算法采用了先进的优化策略以实现模型超参数的有效选择，在实践过程中能够有效防止由于人工微调而导致的时间损耗以及系统稳定性下降的现象，并显著提升了模型在实际应用中的准确性和适用性

实验验证

以下是对原文的有效同义改写

图7. 水轮机故障实验台的作过程

故障实验台由蓄水系统、供水系统、实验段和回水系统四部分组成。储水系统包括水箱。供水系统包括压力泵和管道，实验部分包括水力发电机。回水系统包括潜水泵和管道。实验台测量流经水力发电机的含沙水产生的声音信号。在作实验台之前，水箱和水槽将水装满。然后，压力泵和潜水泵同时启动。压力泵将水从水箱中抽出，并沿着管道流向水力发电机，从而撞击转子叶片。流经水力发电机的水回流到水箱中，然后由潜水泵将水抽回水箱，完成循环。实验过程中的沉积物被添加到水箱中。从压力泵和水力发电机之间的管道位置添加螺栓。完成的故障实验台如图8所示。所用水力发电机的功率计如表4所示。

表4水力发电机的性能参数

图8. 水轮机故障实验台

A. 诊断结果

研究者基于三种不同的深度学习模型（包括CNN、LSTM及混合型CNN-LSTM）展开对比实验，并通过计算准确率、精确度、召回率以及F1分数来评估各模型性能。针对不同工作状态组合进行故障定位与诊断测试。

针对沉积物浓度为1.4 kg/m³的不同工作状态（包括正常工作状态A）、磨损故障B以及冲击故障D的故障诊断识别需求，在设计BO-CNN-LSTM模型时采用了包括CNN、LSTM及两者的组合型结构作为主要架构，并将这些结构分别作为对照实验组进行验证研究。各训练模型的学习曲线在图9中进行展示

图9（a）详细描绘了基于不同深度组合的不同深度卷积神经网络（CNNs），包括单层卷积神经网络（CNN）、长短期记忆网络（LSTM）、双层卷积神经网络（CNN-LSTM）以及自适应优化器结合深度卷积神经网络（BO-CNN-LSTM）。就总体情况而言，在针对水轮机故障诊断的数据集上进行了50次迭代计算后发现：所有四种架构均能实现超过65%的整体识别准确率；值得注意的是，在同样数量的数据样本下训练完成的情况下，在多次运行实验中发现自适应优化器结合深度卷积神经网络架构能够实现较低的标准差值并收敛得更快

如图9（b）所示, 比较分析了四种不同的深度学习架构: 纯CNN网络、LSTM单层网络、混合CNN-LSTM网络以及改进型贝叶斯优化自适应(COBA)网络. 经过持续50轮的迭代训练后, 四种网络架构在功能丢失率指标上均表现出优异表现, 其中COBA架构展现出显著的收敛优势, 最高可达功能丢失率仅为0.21水平, 这一性能表现超越了其他三种基准架构. 通过深入探究发现, COBA架构成功整合了纯CNN网络的空间特征与LSTM网络的时间信息提取能力, 并结合贝叶斯优化算法进行超参数优化, 这一创新设计不仅有效提升了预测精度, 同时也增强了整体系统的鲁棒性表现

在混淆矩阵和评估指标方面（如图所示），各模型对冲击故障的诊断效果较好（达到较高水平），但在处理浓度工况（尤其是0.73kg/m³泥沙浓度工况）时表现欠佳；BO-CNN-LSTM模型在诊断结果与实际一致程度方面表现最佳；其评估指标显示（准确率高达97.7%，精确率为90.4%，召回率为97.4%，F1分数达到93.7%），显著优于其他对比模型；该模型不仅能够有效识别实际故障样本，在综合判断水轮机磨损故障信号方面也展现出色性能

图9. 模型的训练曲线

图10. 四个模型

图11. 条件A、B和D的评估模型

基于沉积物浓度达到1.4kg/m³时的状态A、磨损故障C和冲击故障D的诊断，在经过50次迭代训练后，所有模型均达到超过70%的准确率。其中,LSTM单模态算法表现最差（73.4%), 其训练过程特征曲线波动显著；CNN算法（85.1%)优于LSTM算法；而将两者的优势相结合形成CNN-LSTM组合表现出色,其平均损失率为最低值,即约为0.62；进一步优化后的BO-CNN-LSTM组合在测试中表现出色,其平均损失率为最低值,即约为0.62；从混淆矩阵分析可以看出,各分类器在识别冲击故障方面的表现优异,但在泥沙浓度磨损故障诊断效果不佳；通过评估指标对比发现,优化后的BO-CNN-LSTM组合展现出卓越的表现：其平均准确率达到98%,平均精确率为97%,平均召回率为100%,且F1分数达98%,显著优于其他分类器；此外,该算法在识别实际故障样本以及平衡Recall与Precision方面均表现出色 .稳定性与可靠性都很突出。

图12. 条件A、C和D的评估模型

在不同工况下（包括A工况下泥沙浓度为0.74kg/m³、B工况下浓度为1.4kg/m³）进行泥沙磨损故障的诊断分析时，在经过50次迭代测试后发现各模型的平均准确率均值较低（LSTM模型达到63.8%，表现最差；CNN模型达到76.8%，表现优于LSTM；CNN-LSTM混合型模型达到82.3%，较单一模型提升了约5个百分点；而基于贝叶斯优化的混合型模型则达到了89.7%，较未经优化的经典混合型模型提升了约7.4个百分点）。从损失函数的表现来看，在所有模型中经过50次迭代后其损失值均低于1.2（其中贝叶斯优化型混合型模型损失值仅为0.15，在所有优化方案中表现最为突出），并且该模型不仅具有较快的收敛速度和较好的稳定性，还表现出较强的泛化能力。通过构建混淆矩阵分析发现，在三种工况下的故障诊断任务中各类型模型都存在一定的误诊现象（其中A工况下的误诊比例较高）。从综合评估指标来看，在所有评估指标中贝叶斯优化型混合型CNN-LSTM模型的表现最为优异（平均准确率为90.4%、精确率为92.9%、召回率为92.9%、F1分数值为93.1%），尤其是在故障样本识别能力以及平衡精确度与召回度方面具有显著优势，并展现出较高的稳定性和可靠性

图13. 条件A、B和C的评估模型

这些模型在训练过程中展现出显著的性能差异。相比之下,单独使用的CNN与LSTM架构在训练准确率与损失率方面表现较为欠佳,而将两种技术相结合后,CNN-LSTM架构显著提升了整体性能。通过结合卷积神经网络与循环神经网络的优势,CNN-LSTM架构显著提升了整体性能。正是得益于循环神经网络成功嵌入到卷积神经网络中,从而有效克服了传统卷积神经网络在处理长序列数据时的局限性,使得混合架构不仅能够在较短时间内稳定下来,还呈现出更为微小且规律性的波动变化趋势。BO-CNN-LSTM模型的表现最为突出，在训练准确率和损失率方面均优于其他两种混合架构，并且其优势更加明显。

就不同故障诊断类别而言，在应用BO-CNN-LSTM模型时各获得的准确率达到90%以上（具体数值分别为92.7%，98.4%，以及稍低的90.4%）。此外，在与未进行时间序列处理的传统CNN-LSTM模型相比，在分类精度上BO-CNN-LSTM模型分别提升了约5.5%，6.3%，以及显著较高的9.0%（见表1）。值得注意的是，在水轮机磨损故障诊断方面的准确性略低于冲击故障（见表1），其主要原因在于时间序列数据中的噪声干扰问题较为突出；然而随着泥沙含量随时间增加而提高的现象逐渐显现（见表1），这使得磨损故障诊断的准确性随之提升（见表1），从而使得特征更加明显。

结论

本文构建了一个基于贝叶斯优化（BO）算法的卷积神经网络与长短期记忆网络（CNN-LSTM）结合型故障诊断模型，在水轮机不同故障状态下的识别与定位方面具有显著的应用价值。该模型通过LSTM网络捕捉时间序列数据中的动态特性这一优势特性，在弥补传统CNN算法在时序信息处理方面的不足方面取得了明显效果。同时，在提升模型性能的关键环节上引入了贝叶斯优化算法来进行超参数配置优化工作，在深度学习领域中实现了重要的理论突破与技术进步。通过对比实验发现，在对传统CNN-LSTM模型进行贝叶斯优化调参后所得的新模型 BO-CNN-LSTM 在各关键性能指标上均表现出了显著的优势：分类准确率较未经优化的传统 CNN-LSTM 模型提升了 5.5% 到 9.0% 的水平；在收敛速度、泛化能力以及稳定性等方面也得到了全面性提升；尤其是在复杂工况下的实际应用表现更加令人满意

相比冲击故障而言，在相同条件下水轮机磨损类故障诊断准确率较低，在泥沙浓度上升的过程中会逐渐改善这一状况。然而，在工业生产中与轴流式水力发电机组相关的设备种类繁多且运行条件复杂，在这种情况下获取单台设备的全部故障数据极为困难。因此，在现有研究基础上可进一步针对这类设备运行状态特征进行信号预处理及模型迁移学习研究，并以此增强其在复杂工程环境下的适用能力

论文链接

https://doi.org/10.1016/j.energy.2024.130326