机器学习——K-近邻算法
机器学习——K-近邻算法
简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类
一、K-近邻算法
K近邻（K-Nearest Neighbor, KNN）是一种最经典和最简单的有监督学习方法之一。K-近邻算法是最简单的分类器，没有显式的学习过程或训练过程，是懒惰学习（Lazy Learning）。当对数据的分布只有很少或者没有任何先验知识时，K 近邻算法是一个不错的选择。
K近邻算法既能够用来解决分类问题，也能够用来解决回归问题。该方法有着非常简单的原理：当对测试样本进行分类时，首先通过扫描训练样本集，找到与该测试样本最相似的个训练样本，根据这个样本的类别进行投票确定测试样本的类别。也可以通过个样本与测试样本的相似程度进行加权投票。如果需要以测试样本对应每类的概率的形式输出，可以通过个样本中不同类别的样本数量分布来进行估计。
1、三个基本要素
k 值的选择、距离度量和分类决策规则
2、
要确定绿圆属于哪个类别，如果k=3，在其最近的3个样本中红色三角形数量最多，绿圆属于红色三角形类别，如果k=5，在其最近的5个样本中蓝色矩形数量最多，绿圆属于蓝色矩形类别，可见k的选择很重要
同时，KNN通过依据k个对象中占优的类别进行决策，而不是单一的对象类别决策。这两点就是KNN算法的优势。
3、K-近邻算法的一般流程
（1）收集数据：可以使用任何方法
（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式
（3）分析数据：可以使用任何方法
（4）训练算法：此步骤不适用于k-近邻算法
（5）测试算法：计算错误率
（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理
二、python 实现
