一.基本信息

论文名称： 《DTL-IDS: An optimized Intrusion Detection Framework using Deep Transfer Learning and Genetic Algorithm》

中文： DTL-IDS：基于深度迁移学习和遗传算法的入侵检测优化框架

DOI号： 10.1016/j.jnca.2023.103784

作者： Shahid Latif, Wadii Boulila, Anis Koubaa, Zhuo Zou, Jawad Ahmad

期刊： Journal of Network and Computer Applications

发表时间： 2024年

中科院分区： 2区

JCR分区： Q1

影响指数： 8.8

---

---

二.论文阅读

1.研究背景

1.研究所处环境背景：
工业物联网技术快速发展，在保障生产效率的同时也带来了安全与隐私挑战。工业物联网设备与网络易遭受多种网络安全威胁，在确保其稳定运行方面面临巨大压力；入侵检测系统则起到关键防护作用。
2.当前研究出现的问题：
现有的IDS模型存在两个主要缺陷：一是固定威胁类别清单难以适应新型未知威胁；二是采用失衡数据集训练导致正常样本占比过高。

2.研究贡献（整个论文干了什么）

1. 对Edge-IIoTset数据集进行预处理，并对其进行编码以生成图像数据。

2. 提出了一种结合深度迁移学习与遗传算法优化的高效入侵检测方案，并通过集成多个经过优化的预训练CNN模型来提高工业物联网网络中网络攻击检测性能及准确性。

3. 全面评估其性能表现。

3.相关技术前提介绍

1.什么是迁移学习

迁移学习是说将模型用其他数据集进行训练，然后再使用实验的数据集

2.CNN层的特点

以CNN模型为例：一个常见的结构是将CNN划分为顶层与底层两个主要部分。其中，默认情况下，在网络中通常会包含输入层以及若干个卷积-池化层构成的基础模块；不同类型的CNN架构往往会在基础组件上有相似之处。而顶层通常包括后续的卷积-池化操作以及输出层等组件，并且它们的设计会根据特定的任务需求进行调整。

CNN的卷积层 ：CNN一般是包括 输入层 卷积层 池化层 输出层，其中这个卷积层的个数根据具体情况而定，简单任务的模型卷积层可能只需要2-3个，有的大模型的卷积层可能要上百；卷积层作用就是利用卷积核来进行特征提取。

卷积层的分类：

不同的模型的卷积层数量不同，但是其可以大致分为四类：底层、中层、高层、任务特定层

底层卷积层： 他指的是第1，或者前几个卷积层，他的作用是提取图像基本特征 ；简单来理解就是模型学习“这是一条直线”，“这是一个拐点”，一般来说，各个模型的底层是相同或者相似的，所以可以通用；或者说直接用于其他的任务

中层卷积层： 结合底层卷积，提取部分特征，比如提取到老虎的“王”

高级卷积层： 提取全局特征，就是观察整个老虎或者猫猫

任务特定层： 最后的卷积层或者全连接层，进行分类、输出目标

简而言之：基于CNN能够自行提取图像特征；迁移学习则能够继承并运用已有模型的底层能力；而通过微调则能够进一步优化模型使其更适合新的任务与数据集。

3.CNN模型的介绍

该研究选取的七个模型：

VGG系列（VGG19和VGG16）： VGG19有19层，VGG16有16层，都是用于图像分类

Inception模块： 采用不同大小的模块并行卷积，用1*1的卷积进行降维，加快了计算的速度，提升了网络的深度

Xception： 是深度可分离卷积DSC的cnn结构；属于Inception的改进版本，需求比Inception低

Inception ResnetV2： 将ResnetV2剩余部分与Inception连接形成一个164层的模型；能够通过学习丰富的特征表示，将图像分类为1000个类别

EfficientNet： 基于AutoML MNAS框架生成的基础网络，采用复合系数统一调整网络的深度、宽度和分辨率

EfficientNetV2： 是EfficientNet基础上进一步优化，主要目标是最大化训练速度和参数效率

4.什么是遗传算法

遗传算法 将模型的超参数编码为染色体中的基因部分，并将每个超参数均进行编码处理以适应不同维度特征的需求。通过选择操作筛选出较优个体、交叉操作重组基因以及变异操作引入随机变化的方式逐步优化各维度特征权重系数设置方案。
在这一过程中系统会持续迭代更新直至寻找到最优组合以使模型性能达到最佳状态。

5.什么是Bootstrap Aggregation Ensemble(bagging)

Bagging（Bootstrap Aggregating），即 boots trapping 组合技术，在机器学习领域作为一种集成方法被广泛应用。该方法通过多次从原始数据集中有放回地随机抽样得到若干个不同的子数据集，并基于每个子数据集分别训练独立的学习器；最后将这些学习器的预测结果通过平均（回归任务）或投票（分类任务）的方式综合得到最终结论。

采用 Bagging 方法能够有效地降低模型方差并提升预测结果的一致性与准确性；其特别适用于那些容易受到训练集波动影响的学习器；例如，随机森林算法正是基于这种 Bagging 思想设计而成。

---------------------------------------------------------------------------------------------

4.研究过程

①数据集描述 ：

Edge-IIoTset数据集

②数据预处理

1. 去除缺失数据
2. 进行去重处理
3. 剔除冗余特征
4. 将七个字段进行独热编码处理
5. 生成为CSV格式文件

③数据转换

1.转成什么形式？

表格数据——>图像数据

2.为什么要转换？

因为模型用的是CNN，CNN擅长处理图像数据

3.怎么转换？

归一化处理：分位数归一化，将特征分布转化成正态分布，重新计算特征值

根据数据集的特征大小将样本转换成块：原数据：95列特征×285个样本——>现数据：95×95×3

图像分类：图像包含的所有样本全是正常的——>正常；图像中包含攻击样本——>标记为该块图像中出现次数最多的攻击类型

④迁移学习

A.数据集说明：

训练数据集：the ImageNet dataset

微调数据集：Edge-IIoTset数据集

B.过程：

1.使用ImageNet数据集对七个CNN模型进行训练

2.微调：使用Edge-IIoTset数据集对各个模型进行模型上层参数的微调

⑤模型参数调优与训练及预测集成

1.超参数优化

本研究选择的优化算法： GA遗传算法来优化七个模型中的超参数

本研究中遗传算法的作用过程/算法解读：

CNN模型训练的最优超参数

2.模型训练与挑选

1.使用Edge-IIoTset数据集对七个已经优化好超参数的CNN模型进行训练

2.在七个模型中选择出表现最好的5个模型。分别是：通用CNN, Xception, Inception, InseptionResntV2和EffcientNetV2L

3.集成算法集成预测结果

算法 ：bagging（Bootstrap Aggregation Ensemble）

核心思想： 通过多模型结合降低单一模型的偏差和方差，从而提升整体模型的准确性和稳定性。

Bagging策略的好处： Bagging避免了数据的过拟合，可以有效地处理高维数据。

Algorithm 2算法解读/具体过程：

**

**

整个流程：

5.研究结果

1.评估指标说明

·准确性 Accuracy

·精确度 precision

·召回能力 recall

·F1指标 F1 score

·Cohen’s Kappa Statistic evaluates

2.初始固定超参数下的性能 vs GA算法下的超参数下的性能

初始固定超参数下的模型性能：

1.通用CNN模型以及其他CNN模型结果：

基于预测结果中accuracy筛选出最前面的五个模型

基于预测结果中accuracy筛选出top five models

根据预测结果筛选出前五行模型

以准确性为标准挑选出top five分类器

根据准确性挑选出top five模型类别

3.使用baggging集成后的预测性能

在GA优化算法下研究其超参数的影响

第2节 基于预测结果中acc参数筛选出的前五位模型

3.使用baggging集成后的预测性能

全部指标都为100%

对比

3.当前研究的基于迁移学习的入侵检测模型 vs 现存基于迁移学习的入侵检测模型

1. 目前在IDS领域中较少采用迁移学习技术，并且相关的研究工作也基本未涉及或深入探讨超参数优化问题。

2. 具体数据信息

6.未来展望

对现有框架进行进一步优化，并构建适用于支持边缘计算的IIoT系统的轻量化DTL模型

7.总结

该文开发出一种利用深度迁移学习（DTL）、超参数优化与集成学习实现的高效IIoT入侵检测架构。采用遗传算法对七种不同的CNN架构进行超参数调优，并且同时利用Edge-IIoTset数据集进行训练。最后应用引导式聚合集成技术融合性能最优的五个模型，并明显提高检测准确率

8.论文思维导图

---

三.我的总结、心得（糙汉版总结）

首先这篇文章真的很

×66666666...

（前提知道：用了7个典型的CNN模型+1个通用的cnn模型）

整个流程如下：首先采用迁移学习技术使模型能够在其他数据集上习得基础知识，在这种情况下原始模型将获得一定的核心能力或基础理解能力；随后运用遗传算法优化CNN的最佳超参数设置；经过这一阶段的学习与优化后当前建立起来的深度神经网络体系已经达到了最佳状态；下一步将利用真实数据对现有网络进行全面训练并基于8个候选模型评估其性能指标最终筛选出表现最优的前五位候选模型；最后通过Bagging集成方法融合这些顶级预测结果以获得最终综合判断

整个流程如下：首先采用迁移学习技术使模型能够在其他数据集上习得基础知识，在这种情况下原始模型将获得一定的核心能力或基础理解能力；随后运用遗传算法优化CNN的最佳超参数设置；经过这一阶段的学习与优化后当前建立起来的深度神经网络体系已经达到了最佳状态；下一步将利用真实数据对现有网络进行全面训练并基于8个候选模型评估其性能指标最终筛选出表现最优的前五位候选model；最后通过Bagging集成方法融合这些顶级预测result以获得最终综合判断

---

免责声明