数据挖掘十大算法——SVM
发布时间
阅读量：
阅读量
SVM两大分支
Support Vector Classifier（SVC）与Support Vector Regressor（SVR）
SVC
函数间隔： min \gamma=wx+b，此时如果我们倍增w,b可以无限扩大函数间隔，因此，它并不能作为标准
几何间隔，是归一化的函数间隔： min \gamma=\frac{wx+b}{||w||}
为了方便讨论，令几何间隔等于1，有
wx_i+b≥1\quad for\quad y_i=+1
wx_i+b≤-1\quad for\quad y_i=-1
线性可分支持向量机（硬间隔）
目标 max_{w,b}\frac{2}{||w||},s.t.y_i(wx_i+b)≥1
等价目标 min_{w,b}\frac{1}{2}||w||^2,s.t.y_i(wx_i+b)≥1
针对这个凸二次规划问题，我们可以采用拉格朗日解法
L(w, b, \alpha)=\frac{1}{2}w^Tw-\sum_{i=1}^{n}\alpha_i[y_i(wx_i+b)-1]
令
可得
进一步有
对于非支撑向量， \alpha_i=0
线性支持向量机（软间隔）
关键：松弛变量
min_{w,b}\frac{1}{2}||w||^2+C\sum_{i=1}^n\xi_i,s.t.y_i(wx_i+b)≥1-\xi_i
核函数
全部评论 (0)
还没有任何评论哟~