Advertisement

流量异常检测

阅读量:

流量异常检测主要涉及的关键点包括三项核心问题

  1. 流量会受到用户的特定行为影响较大,在百度云服务中大部分业务呈现正午至晚上的高峰时段较为明显的特点,在一天的不同时间段内其流量水位值会呈现出周期性起伏变化的趋势这使得该指标具有明显的上下文相关性从而要求系统具备识别正常波动与异常波动的能力
在这里插入图片描述

预测

该移动平均算法采用当前窗口内的w个数据计算其均值来预测窗口末尾的一点。

在这里插入图片描述

线性回归模型用于估计流量数值。基于窗口内的n个数据点,通过最小二乘法以最小化损失函数的方式进行建模。

在这里插入图片描述

因为线性回归模型中的损失函数具有二次型特性,在处理异常数据时会使得这些极端值对模型参数估计产生较大的影响。

考虑到线性回归模型中使用二次损失函数可能导致异常值具有过度影响的效果,在实际应用中这可能带来不利影响

在这里插入图片描述

检测

残差 相对残差

该检测方法未对数据流量的规模进行考量。举例而言,在残差值达到-1e2(即-1×1e2)的情况下:假设此时数据流量的预测值是2e2(即2×1e2),这可能预示着系统的运行存在问题;而若数据流量预测值达到1.5×1e4(一万五千)时,则该算法中出现-1e2(即-1×1e2)的残差可能仅由观测噪声引起。因此,在实施基于残差的数据异常检测机制时,请根据具体系统的负载情况动态设定相应的阈值范围。

大多数系统服务在白天时段处理的数据量较大,在这种情况下数据的变化幅度较小。当在白天时段出现10%的下降时……这表明可能存在严重的性能问题。然而,在夜间时段的数据量较少,并且数据的变化幅度较大;如果夜间时段出现30%以上的下降……这可能预示着系统的运行存在问题。因此,在这种情况下无法根据不同的时间段设定统一的标准来判断异常状态。

考虑到基于残差与相对残差的多种检测方法均难以设定统一的有效阈值水平,在这种情况下我们选择了一个更为稳健的方法即从概率的角度设定固定的检测阈值以提高方法的一致性和可靠性

用于表征单位时间内随机事件发生次数的概率模式的泊松分布,则可被用来构建网络流量的统计模型。其概率质量函数形式为

在这里插入图片描述

该概率的运算包含阶乘求和等操作会消耗较多的运算资源为了简化运算过程我们已知当足够大时可以用正态分布作为泊松分布的概率模型的近似

全部评论 (0)

还没有任何评论哟~