基于深度学习的入侵检测系统综述
摘要
摘要
内容目录
0 引 言
1 安全防护现状
2 入侵检测技术
2.1 基于机器学习的入侵检测技术
2.2 基于深度学习的入侵检测技术
3 入侵检测数据集
3.1 KDD Cup99 数据集
3.2 NSL-KDD 数据集
3.3 UNSW-NB15 数据集
3.4 CIC-IDS 2017 数据集
4 基于深度学习的入侵检测系统
5 结 语
0
引 言
近年来，随着大数据、人工智能、云计算和5G技术的快速发展，在线网络应用也呈现出愈发广泛的使用场景和便捷的操作体验。据中国互联网络信息中心发布的最新统计数据显示，在截至2020年12月的数据监测中，我国网民规模已达到近10亿网民（约9.89亿），较2020年3月增长了约8540万人（即新增8,540万人），与此同时互联网普及率已达70.4%。随着网民规模的持续扩大，在线网络流量也随之增加，并随之而来的是更为严峻的网络安全挑战。入侵检测系统（Intrusion Detection System, IDS）作为提升网络安全防护能力的关键技术手段，在这一背景下发挥着不可替代的作用。
面对日益复杂的网络攻击手段及功能日益繁多的现代网络系统, 传统式的入侵检测技术往往面临误报频发、适应能力不足及整体效能较低等问题. 因此, 我们有必要探索新型的入侵检测技术以提升网络安全防护体系的整体效能. 近年来的研究表明, 在图像识别与语音识别等关键领域上（如自然语言处理方面）, 深度学习已展现出卓越的能力. 这种先进的人工智能技术在处理大规模复杂数据时展现出卓越性能, 这也为我们解决多特征入侵数据这一难题提供了全新的解决方案思路. 灵活应用到网络安全领域后能够显著提升探测效率的同时减少误报和漏报的可能性.
本文围绕当前网络安全领域的几个关键问题展开探讨：首先指出网络安全防护体系中存在的漏洞与挑战；其次详细阐述了基于机器学习与深度学习的入侵检测方法，并对其进行了深入对比分析；随后深入探讨了构建入侵检测系统所需的数据集及其重要性；第三部分全面回顾了深度学习模型与数据集结合应用于 intrusion detection 的实践成果及最新研究进展；最后总结全文内容并展望了未来的研究重点与发展方向。
1安全防护现状
伴随着新兴技术的飞速发展, 信息技术的应用逐渐深入到各个行业领域中, 同时为我们的工作与生活提供了便利和支持, 带来了日益严重的网络安全挑战。其中, 零日攻击、APT 攻击以及勒索软件攻击等智能化威胁不断攀升。在信息化时代中常见的网络安全问题如下。
（1）用户操作不当： 计算机产生的安全问题与用户的操作不当紧密相关。对于使用网络的普通用户而言，在缺乏必要的计算机网络安全知识的情况下，在未采取有效的防护措施的情况下（例如），其密码过于简单且可能外泄给他人。对于网络管理员而言，在面对具有高度复杂性的新网络系统时，在配置时容易出现错误，并且这些错误可能被黑客利用而导致严重的安全隐患。
（2）网络系统存在缺陷：
（3）内部威胁日益显著：
（4）防护机制更新不及时：
基于上述因素的促进作用，在研究智能化入侵检测系统方面具有极为重要的应用前景
2入侵检测技术
该系统（Intrusion Detection Systems, IDS）作为一项关键的安全技术，在保护计算机系统免受未经授权访问方面发挥着重要作用。它旨在识别潜在威胁并采取预防措施以避免非法访问和潜在滥用行为，并定期向安全专家提供相关信息。根据其核心原理的不同类型分为基于行为模式匹配（Signature-based detection）和基于实时监控异常活动（Anomaly-based detection）两大类。
（1）基于签名检测的 IDS：** 通过依赖已知签名的方法构建的 IDS：它依靠已知的签名来运行。然而它无法辨别未知攻击以及这些传统攻击的各种变形体。该方法能够显著识别存在于该签名库中的传统攻击。
（2）基于异常行为检测的IDS：通过对网络流量行为的学习来进行流量分类，则能够识别出未知的攻击行为
该方案能够高效且精确地识别攻击事件；然而，在发现新型攻击方面表现不足；因此整体的探测率较低；相比之下，在灵活性、鲁棒性和扩展性方面表现出色；鉴于此，在构建动态入侵检测系统时；我们主要推荐基于异常行为特征的探测技术方案；目前常用的是基于机器学习算法以及深度学习模型来分析与识别异常行为模式；以下将对这两种核心技术进行详细介绍
2.1 基于机器学习的入侵检测技术
在人工智能领域中，机器学习被视为一个重要的分支学科。其核心在于通过积累经验数据来逐步优化和提升计算机算法的性能。常见的机器学习模型如下。
1）数理统计（Stat.）： 基于对系统行为的观察与分析，在正常与异常行为之间建立数学关系式来构建行为模式的数学模型。该模型能够帮助识别并发现未知的攻击模式。以下是一些常用的技术：主成分分析（PCA）、卡方检验（Chi-square test）以及高斯混合模型（GMM）。
（2）支持向量机（Support Vector Machine, SVM）：
（3）数据挖掘（Data Mining）： 基于采集的海量数据集，数据挖掘旨在获取丰富的信息资源，并通过深入研究用户的活动模式与其行为特征之间的内在联系来总结出一系列的行为规律。这种技术手段广泛应用于用户行为模式识别领域。
（4）基于规则集（Rule-Based）：
（5）人工神经网络（Artificial Neural Network, ANN）[2]：这是一种智能化的信息处理系统，在模仿人类大脑对信息进行采集、整理和储存的基础上构建而成。该系统能够通过学习过程获取知识，并将其储存在连接节点的权重参数中。该模型不仅具备自主学习能力，在面对未知输入时也能够实现精准识别。
2.2 基于深度学习的入侵检测技术
深度学习可被视为对传统人工神经网络的优化技术发展而来。它涉及多层次信息处理机制，并通过非线性变换提取高阶特征。“深 width”通常指代人工神经网络中隐含层数目这一关键参数指标。经典的人工神经网络一般仅包含2至3个隐含层数目较低的隐含层单元；相比之下现代深度神经网络可能包含多达150个隐含单元以实现复杂的特征提取任务。在操作层面深 width 神经网络会通过多级非线性变换将原始输入数据逐步映射到高维特征空间并完成一系列数据处理步骤最终实现目标感知与决策功能。如图1所示简化的三层前馈型深 width 神经网络架构由输入层三个中间隐含层和输出层构成其中输入维数为6输出维数为2而中间各隐含层层间分别含有12个6个及3个计算单元依次完成前一层数据的特征提取与传递过程
图 1 简单的深度神经网络
在深度学习中，并非由人类去获取特征而是利用高效的算法实现自动生成数据的特征。该方法已被广泛应用于多个领域包括但不仅限于语音识别技术无人驾驶汽车技术以及图像识别分类自然语言处理生物信息学等多个前沿科技领域。
深度学习和机器学习的区别如下。
为了使深度学习中的模型算法达到最佳状态，在训练过程中需要获取大量数据；而在机器学习领域中，则即使拥有大量的数据也无法显著提升模型算法的性能。
在深度学习中, 通过算法自动生成特征；而机器学习则依赖于人类的专业知识来设定特征.
在深度学习任务中必须依赖高性能计算设备；而传统意义上的机器学习则不需要高性能设备的支持。
（4）在深度学习中，在各个层次上是 holistic 的；而在机器学习领域，则通过将问题分解为多个模块，并对每个模块进行优化来实现整体性能提升。
相较于传统的机器学习而言，深度学习能够对输入的高维特征进行多层抽象转换，并且特别适合用来解决许多复杂特征的问题。
包括四个经典的模型分别为：Deep Feedforward Networks (DFN)、Recurrent Neural Networks (RNN)、Convolutional Neural Networks (CNN)以及Autoencoder (AE)
（1）深度前馈型神经网络：
（2）递归神经网络：
（3）卷积神经网络： 由卷积层、池化层和全连接层构成，在一定程度上能够保留图片特征的同时将大数据量的图像降到较低的数据规模。其主要应用领域如图像分类、人脸识别以及人体骨骼识别等。
（4）自编码器：
3入侵检测数据集
该研究需要构建基于异常行为检测的入侵检测系统的评价与训练所需的数据集。这些数据集合主要分为主机数据集合与网络数据集合两类。鉴于本文着重探讨的是网络环境下的入侵防御体系相关技术问题，在此我们集中讨论基于网络的入侵检测数据集合相关特性与应用方法。本节将重点介绍入侵检测系统中常用的几种典型数据集合类型及其应用实例。
3.1 KDD Cup99 数据集
该数据集于1999年开发完成，并成为机器学习与网络安全领域的研究重要参考。该集合被划分为带标签的学习样本与无标签的测试样本，并包含近500万个记录样本中约80%涉及攻击行为。其包含41个关键指标或变量，并主要涵盖三类核心维度：基础属性、流量统计信息以及内容分析指标。这些样本可被划分为五大核心类型：正常行为记录、拒绝服务攻击、跨端口扫描活动、利用弱口令进行的密码 guesses以及恶意软件传播事件等一类是针对恶意活动的分类识别任务
（1）正常类别： 没有攻击类型的数据。
（2）攻击类别： 拒绝服务相关攻击（Denial of Service, DoS）、探测性攻击（Probe）、远程至本地型 attacks（R2L）、用户至管理员型 attacks（U2R）。这四个主要的 attack 类别总计有 22 种不同的 attack。
3.2 NSL-KDD 数据集
为了使深度学习算法在KDD杯-1号上更有效运行,研究人员于2000年依据KDD杯-1号数据集构建了NSL-KDD[4]数据集。该数据集去除了KDD杯-1号中的重复记录,从而降低了整体数据规模。NSL-KDD包含了KDD杯-1号核心记录及其特性特征,识别的攻击类型与原 dataset一致,然而存在显著差异。
（1）由于训练集中没有冗余数据，分类器不会偏向更频繁的记录。
（2）因为测试集中没有重复的数据，所以检测率更为准确。
（3）在每个难度级别组中所选的数据量与原始数据集中的占比呈反比例关系。这种安排有助于提高不同学习技术的准确评估效果。
3.3 UNSW-NB15 数据集
UNSW-NB15[5] 数据集由澳大利亚网络安全中心实验室于2015年开发完成，并采用开源性质的数据集。该数据集的训练主要依赖IXIA流量生成器，并基于CVE网站公开提供的漏洞信息数据库进行构建。其设计目标是模拟真实的网络攻击场景。该数据集包含49个关键属性指标：其中包含5个流量参数、13个基础信息字段、8个内容相关特征、9个时间戳参数、12个辅助指标以及2个标记字段等详细信息。
在本研究中，数据集被划分为训练集和测试集两部分，在本研究中包含了约17.5万条训练样本和约8.2万条测试样本。该研究涉及的攻击类型包括模糊攻击类型、社会工程学攻击类型、后门攻击类型、拒绝服务攻击类型、漏洞利用类型等，并均以CSV文件格式存储。
3.4 CIC-IDS 2017 数据集
加拿大网络安全研究所（CIC）于2017年生成了CIC-IDS 2017数据集。该数据集利用CICFlowMeter工具从原始数据中系统性地收集了80多个特征属性。在特征提取过程中采用了两种不同的操作模式：实时监控模式与批量处理模式。实时监控模式允许系统持续监测网络流量并即时生成相关特征参数，在监控任务结束后会将这些特征属性以CSV格式保存本地存储空间；而批量处理模式则要求预先准备一个完整的数据包文件（.pcap格式），经过CICFlowMeter工具处理后会返回一个包含完整特征信息的CSV文件。通过CIC-IDS 2017数据集能够有效识别以下几类典型攻击行为：僵尸网络攻击类、Web攻击类、DoS&DDoS 攻击类、渗透性攻击类、SSH暴力破解攻击类以及FTP 暴力破解攻击类。
接下来将结合以上数据集，介绍深度学习模型在入侵检测系统上的应用。
4基于深度学习的入侵检测系统
多样化的深度学习模型通过融合合适的 datasets 运用于多种 attack pattern recognition. 本节采用近五年的国内外研究文献, 用于阐述当前深度学习技术在入侵检测系统中的应用现状.
Roy等人[7]开发了一种基于深度神经网络的入侵检测系统，并验证了该技术能够显著提升入侵检测系统的性能水平。研究团队构建了一种多层人工神经网络架构作为核心组件，在该系统中包含三层及以上的隐藏层节点以增强学习能力。他们采用了非饱和线性激活函数（ReLU）作为基础激活机制，并结合Softmax分类机制对数据流量进行了多维度特征识别与分类处理。为了保证实验的有效性与可靠性，在整个研究过程中采用了KDD Cup99标准数据集作为测试样本库，并将其中41个关键特征输入到构建的算法模型中进行系统性评估。通过对比分析当前研究中所采用的深度神经网络架构与传统支持向量机方法在分类准确率方面的差异性表现, 实验结果证实了当前研究方案在入侵检测任务中的显著优势, 其分类准确率达到99.994%, 明显高于传统方法高达84.635%的成功率, 这一发现充分证明了所提出的深度学习架构在网络安全防护领域的重要应用价值
Potluri 等人[8] 也提出了另一种利用深度神经网络模型的入侵检测系统。因为神经网络需要大量的训练计算，所以该研究利用多核 CPU和 GPU 来提高入侵检测系统的性能。作者研究选取深度学习模型中的栈自编码器（Stacked AutoEncoder，SAE）来构建神经网络。第一个自编码器（AutoEncoder，AE）在第一隐藏层有20 个神经元，第二个自编码器在第二隐藏层有10 个神经元，输出层有 5 个神经元。在训练阶段，由于第一个自编码器的隐藏层成为第二个自编码器的输入，因此每个自编码器被单独但按顺序地训练。有两次微调过程，第一次是通过 Softmax 激活函数完成的，第二次是通过整个网络的反向传播完成的。此研究选择 NSL-KDD数据集来测试这种方法。作者首先测试了 2 类到 4 类不同攻击类型组合的网络。因为不平衡的攻击类型分布会导致较少的攻击类型得到很好的结果，所以较少数量的攻击类型比较多数量的攻击类型表现更佳。为了加速，作者使用了两个不同的 CPU 和一个 GPU。作者还尝试使用串行和并行 CPU。实验结果表明，使用并行CPU 的训练速度是使用串行 CPU 的 3 倍，使用GPU 的训练速度与并行 CPU 相似。
Yin 等人[9]研究表明传统机器学习算法在处理海量入侵数据分类方面存在局限性。作者通过递归神经网络（Recursive Neural Network, RNN）的优势，在此基础上构建了一种基于递归神经网络模型的入侵检测系统。该系统将数据预处理过程分为数值化和标准化两步开展工作。随后将准备好的特征输入至 RNN 训练流程中进行学习训练。最终输出的学习模型则用于测试集的数据验证工作。实验采用 NSL-KDD 数据集作为训练与测试样本集，并对该数据集进行了数字化处理：将 41 个原始特征映射为二进制后扩展为 122 个二进制特征用于后续建模训练工作。该研究不仅完成了二分类任务分析还深入探讨了多分类场景下的性能表现。实验结果表明：二分类任务达到 83.28% 的准确率；多分类任务则获得 81.29% 的准确率指标值显示 RNN 方法在入侵检测领域均优于其他传统机器学习算法的表现
研究者Li等人[10]在其入侵检测系统研究中采用了卷积神经网络（CNN）作为特征提取与分类工具。该网络在图像分类领域展现了显著的应用成效，在此应用中其主要挑战在于如何将非结构化文本数据转化为适合深度学习模型处理的图像形式。实验过程中，研究团队采用了NSL-KDD数据集作为测试样本，并设计了两步图像转换流程：首先将原始特征数量从41扩展至464个二进制向量；接着将这些二进制向量组合成8×8像素的二维图像矩阵作为训练数据输入。为了验证该方法的有效性，在实验阶段研究人员分别使用经过微调优化的ResNet50和GoogLeNet模型进行测试运算。最终结果显示，在测试集上两者的准确率分别为79.14%和77.14%。尽管这一结果并未显著提升入侵检测技术的整体性能水平，但通过这种方法展示了如何在基于文本的数据环境中应用卷积神经网络模型以及相关的图像转换技术
Zarai等人[11]开发了一种基于深度神经网络以及长短期记忆（Long Short-Term Memory, LSTM）网络的入侵检测系统。LSTM模型是改进版RNN的一种，在解决梯度消失或爆炸问题方面表现出显著的优势。研究者采用了KDD Cup99数据集，并将深度神经网络与长短期记忆网络应用于入侵检测系统中以预测攻击行为。实验结果表明，在三层架构的设计下，默认情况下基于深度神经网络或长短期记忆网络构建的入侵检测系统能够更好地识别异常攻击
李学勇[12]于2020年毕业论文中开发了一种基于多元相关性分析算法的长短期记忆网络模型（MCA-LSTM），旨在解决传统网络入侵检测模型因处理高维数据而导致检测效率低下和误报率高的问题。该模型首先通过信息增益特征选择模块筛选出最佳特征子集；然后利用多元相关性分析算法将其转换为对称TAM矩阵（主对角线全为零）；最后将该矩阵输入长短期记忆网络模块进行训练与测试以完成学习过程。为了全面评估其性能优势，在与现有技术如卷积神经网络、递归神经网络、深度森林（Deep Forest）、支持向量机以及K最近邻（KNN）等方法进行全面对比实验后发现：MCA-LSTM模型在NSL-KDD数据集5分类任务以及UNSW-NB15数据集10分类任务中展现出较高的准确性。研究结果表明，在面对传统机器学习方法及现有深度学习架构时,MCA-LSTM展现出更强的分类检测能力
综合上述，各类型深度学习模型在入侵检测系统中的应用效果存在显著差异。本章节所涉及的研究工作主要基于4种典型的深度学习模型，并结合KDD Cup99、NSL-KDD以及UNSWNB15数据集进行实验评估以测试入侵检测系统的准确率和检测性能。这一研究结果对于指导未来相关研究具有重要参考价值。
5结 语
入侵检测系统的效能主要取决于所使用的特定算法或模型设计。为了提升系统的适应性与鲁棒性，在现有的框架基础上融入机器学习算法可以有效实现异常行为识别功能。作为一种新兴技术，在当前的安全威胁评估领域中被广泛采用为最新的训练与分类技术之一。本文对基于深度学习的安全威胁分析方法进行了基本概述，并列举了若干公开的数据集及其优缺点；这些研究对于相关领域的学者具有一定的参考价值。未来研究应着重于多个关键领域的深入探索
基于大数据的信息时代背景下
（2）本文介绍了4种典型的深度学习模型，并期待未来能够有更多的新型神经网络应用于入侵检测研究领域中，从而为网络安全防护提供更为有效的入侵检测手段。
（3）目前大多数实验均在计算机模拟环境下开展，在真实网络环境之间仍存在明显差距。随着物联网技术、5G网络以及无线网络等新兴技术的进步，在后续研究工作中应在开发阶段就充分考虑到各种新型应用场景，并解决如何在实际应用中实现实时性和适应性的验证问题。