Advertisement

n维空间的欧氏距离公式_【理解机器学习(三)】相关系数的本质:余弦距离...

阅读量:
99af262226cc69b4d6463583f646608d.png

1. 欧式距离与余弦距离的点积表示

  • 欧式距离

    的欧氏距离就是下图中的虚线:
    b43ca80f61ddd1d932d3ea1b671ad40f.png

欧式距离可以通过勾股定理,或者点积来计算:

  • 余弦距离

    的余弦距离就是下图中
    角的余弦:
    4b85b1beba5e3f98ec251cf655dc4d0c.png

根据线性代数的知识,余弦也可以通过点积和模长来计算:

2. 协方差和相关系数:相关系数本质上就是余弦距离

先假设有两个随机量
,
,其均值分别为
,

由这两个随机量及其均值组成两个向量(可以这么认为,对于随机变量组成的向量,其均值才是原点):

  • 样本方差

对于
,其样本方差为:

通过向量表示为:

方差看起来很像是欧式距离

  • 样本协方差

对于
,
,其样本协方差为:

通过向量表示为:

结合之前的余弦距离的计算公式,我们可以得到:

从上面的公式我们可以看出,余弦距离与样本协方差成正比,所以协方差已经可以表示两个向量之间的关系了,但是余弦距离还和两个向量模的乘积成反比,即余弦距离还受到向量长度的影响

  • 样本相关系数

从上面得到的

我们可以继续往下推导,得到样本相关系数的计算公式:

将它们带入上面的式子可以得到:

而在课本中给我们的样本相关系数的公式为:

所以说,相关系数其实就是之前说的余弦距离 ,表示事物之间的相关性


参考资料:

如何理解协方差、相关系数和点积?

全部评论 (0)

还没有任何评论哟~