异常流量检测
项目目标旨在检测网络异常流量，并防范网络攻击行为；本人负责初期工作，并完成了文献阅读、数据处理、模型构建以及参数优化四项任务。
网络攻击行为主要包括Dos攻击、远程访问控制（U2R）攻击以及 Probe 攻击等类型；其表现为流量的集中异常、单点异常以及上下文相关联的异常特征。
孤立性点异是一种仅针对单一数据样本而言的数据偏差现象；情境性离群是指某个具体的数据实例在特定背景中出现偏差但无法代表全局特征的现象；集合型离群则指的是多个相关联的数据实例共同构成的整体呈现出偏态特征的情形（即便个体特征均属正常）。鉴于攻击行为往往会在流量特征上留下明显痕迹，在项目初期则采用分阶段探索的方式从基础的一元流量时间序列入手进行分析研究
流量时间序列主要通过统计每分钟IP数据包的数量，并基于其时序特性和长短期记忆网络LSTM技术进行滑动窗口预测。具体而言,该系统通过比较预测结果与实际数值之间的差异是否超过预设的标准,来识别异常流量的存在.选择不采用分类方法的原因在于,现有文献中普遍使用的分类方法是建立在已标注的数据集基础之上的,然而现实场景中的大量数据缺乏标签信息,这使得直接应用传统分类技术面临较高的实现成本.此外,异常值检测问题本质上属于样本不平衡学习范畴,为此类问题构建精确有效的解决方案不仅技术难度较高,而且容易出现误报或漏报等实际应用中的关键问题.
该预测模型旨在拟合正常流量的趋势，并在出现异常流量时能够较为迅速地做出反应，有效防止了样本失衡和误报现象；然而由于流量波动的存在导致一些正常的波动被误判为异常情况，并且当阈值设定过高时可能导致报警延迟或误报；而当阈值设定过低时则容易引发误报问题。因此在初期阶段该模型的准确率达到70%，其中基于点状异常的表现最为突出。
当检测到某个数值被认为可能是异常时
d i _=(_e i _-_e i-1 _)/_ei-1
当 di
大于某一预设值p时，则 ei
仍为异常值；若某个值之后所有d都小于预设值，则后续都为正常值。
该方法进一步地避免了流量波动的情况。在发生流量波动时尽管误差相对较大然而在不同时间点的误差数值之间并没有明显的差异对比之前的模型在准确率方面有所提升并且达到了13%的增长幅度