k最近邻分类;matlab_机器学习 | KNN, K近邻算法

    # 从sklearn.neighbors里导入 KNN分类器的类from sklearn.neighbors import KNeighborsClassifier# 通过类实例化一个knn分类器对象# 类中的具体参数# KNeighborsClassifier(n_neighbors=5,weights='uniform',algorithm='auto',leaf_size=30,p=2, metric='minkowski',metric_params=None,n_jobs=None,**kwargs,)knn_clf = KNeighborsClassifier(n_neighbors=k)# 通过对象调fit()方法, 传入训练集， 训练模型knn_clf.fit(X_train, y_train)X# 训练好的模型， 通过其他接口， 传入测试集查看模型效果knn_clf.score(X_test, y_test)# 预测结果knn_clf.predict(X_test)knn_clf.predict_proba(X_test)

    import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib as mplfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scorefrom matplotlib.colors import ListedColormap#导入iris数据from sklearn.datasets import load_irisiris = load_iris()X=iris.data[:,:2] #只取前两列y=iris.targetX_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y,random_state=42) #划分数据，random_state固定划分方式#导入模型from sklearn.neighbors import KNeighborsClassifier #训练模型n_neighbors = 5knn = KNeighborsClassifier(n_neighbors=n_neighbors)knn.fit(X_train, y_train)y_pred = knn.predict(X_test)#查看各项得分print("y_pred",y_pred)print("y_test",y_test)print("score on train set", knn.score(X_train, y_train))print("score on test set", knn.score(X_test, y_test))print("accuracy score", accuracy_score(y_test, y_pred))# 可视化# 自定义colormapdef colormap():    return mpl.colors.LinearSegmentedColormap.from_list('cmap', ['#FFC0CB','#00BFFF', '#1E90FF'], 256)x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1axes=[x_min, x_max, y_min, y_max]xp=np.linspace(axes[0], axes[1], 500) #均匀500的横坐标yp=np.linspace(axes[2], axes[3],500) #均匀500个纵坐标xx, yy=np.meshgrid(xp, yp) #生成500X500网格点xy=np.c_[xx.ravel(), yy.ravel()] #按行拼接，规范成坐标点的格式y_pred = knn.predict(xy).reshape(xx.shape) #训练之后平铺# 可视化方法一plt.figure(figsize=(15,5),dpi=100)plt.subplot(1,2,1)plt.contourf(xx, yy, y_pred, alpha=0.3, cmap=colormap())#画三种类型的点p1=plt.scatter(X[y==0,0], X[y==0, 1], color='blue',marker='^')p2=plt.scatter(X[y==1,0], X[y==1, 1], color='green', marker='o')p3=plt.scatter(X[y==2,0], X[y==2, 1], color='red',marker='*')#设置注释plt.legend([p1, p2, p3], iris['target_names'], loc='upper right',fontsize='large')#设置标题plt.title(f"3-Class classification (k = {n_neighbors})", fontdict={'fontsize':15} )# 可视化方法二plt.subplot(1,2,2)cmap_light = ListedColormap(['pink', 'cyan', 'cornflowerblue'])cmap_bold = ListedColormap(['darkorange', 'c', 'darkblue'])plt.pcolormesh(xx, yy, y_pred, cmap=cmap_light)# Plot also the training pointsplt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold,                edgecolor='k', s=20)plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.title(f"3-Class classification (k = {n_neighbors})" ,fontdict={'fontsize':15})plt.show()

    # 导入乳腺癌数据集的类及其他包from sklearn.datasets import load_breast_cancerfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.model_selection import train_test_split# 实例化一份乳腺癌数据集对象breast_cancer= load_breast_cancer()# 查看数据breast_cancer# 数据的特征, 返回一个二维数组X = breast_cancer['data']X = pd.DataFrame(X)name = ['平均半径','平均纹理','平均周长','平均面积','平均光滑度','平均紧凑度','平均凹度','平均凹点','平均对称','平均分形维数','半径误差','纹理误差','周长误差','面积误差','平滑度误差','紧凑度误差','凹度误差','凹点误差','对称误差','分形维数误差','最差半径','最差纹理','最差的边界','最差的区域','最差的平滑度','最差的紧凑性','最差的凹陷','最差的凹点','最差的对称性','最差的分形维数']X.columns = name# 数据的标签， 返回一个一维数组y = breast_cancer['target']# 划分数据，random_state固定划分方式X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y,random_state=42)

    # 实例化一个5个最近邻的knn分类器knn_clf = KNeighborsClassifier(n_neighbors=5)# 训练模型knn_clf.fit(X_train, y_train)# 测试模型的准确率knn_clf.score(X_test, y_test)# 0.9590643274853801

    # 导入归一化类from sklearn.preprocessing import MinMaxScalermms = MinMaxScaler() # 实例化对象mms.fit(X_train) # 这一步是在学习训练集，生成训练集上的极小值和极差X_train = mms.transform(X_train) # 用训练集上的极小值和极差归一化训练集X_test = mms.transform(X_test) # 用训练集上的极小值和极差归一化测试集

>     import numpy as np  from sklearn.cross_validation import StratifiedKFold  kfold = StratifiedKFold(y=y_train,                           n_folds=10,                          random_state=1)  scores = []  for k, (train, test) in enumerate(kfold):      model.fit(X_train[train], y_train[train])      score = model.score(X_train[test], y_train[test])      scores.append(score)print('\nCV accuracy: %.3f +/- %.3f' % (np.mean(scores), np.std(scores)))

>     from sklearn.model_selection import ShuffleSplitn_samples = iris.data.shape[0]cv = ShuffleSplit(n_splits=5, test_size=0.3, random_state=0)cross_val_score(clf, iris.data, iris.target, cv=cv)  array([0.977..., 0.977..., 1.  ..., 0.955..., 1.])

    from sklearn.model_selection import cross_val_score as cvsL = []for k in range(1, 21): knn_clf = KNeighborsClassifier(n_neighbors=k) result = cvs(knn_clf,X_train, # 使用训练集               y_train,              cv = 5) # 5折交叉验证    result_mean = result.mean()    result_var = result.var()    L.append((k, result_mean, result_var))score = pd.DataFrame(L)score.columns = ['k', '平均准确率', '方差']score

    import matplotlib.pyplot as pltplt.style.use('seaborn')plt.rcParams['font.sans-serif']=['Simhei'] #显示中文 plt.rcParams['axes.unicode_minus']=False  #显示负号plt.figure(figsize=(8, 6), dpi=100)plt.plot(score.k, score.平均准确率)# 再画两条偏离均值2倍方差的曲线plt.plot(score.k, score.平均准确率+2*score.方差, linestyle='**', color='r')plt.plot(score.k, score.平均准确率-2*score.方差, linestyle='--', color='r')plt.xticks(score.k)plt.xlabel('k值', fontsize=20)plt.ylabel('平均准确率', fontsize=20)plt.title("k值学习曲线")# plt.savefig('learning_curve_picture.jpeg')

    import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.colors import ListedColormapfrom sklearn import neighbors, datasetsn_neighbors = 10h = .02  breast_cancer= datasets.load_breast_cancer()X = breast_cancer['data'][:, :2]y = breast_cancer['target']cmap_light = ListedColormap(['orange', 'cornflowerblue'])cmap_bold = ListedColormap([ 'darkblue', 'darkorange'])p1=plt.figure(figsize=(15,5),dpi=100) num = 1for weights in ['uniform', 'distance']:    ax1=p1.add_subplot(1,2,num)    num+=1    clf = neighbors.KNeighborsClassifier(n_neighbors, weights=weights)    clf.fit(X, y)    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),                         np.arange(y_min, y_max, h))    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])    Z = Z.reshape(xx.shape)    plt.pcolormesh(xx, yy, Z, cmap=cmap_light)    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold,                edgecolor='k', s=20)    plt.xlim(xx.min(), xx.max())    plt.ylim(yy.min(), yy.max())    plt.title(" (k = %i, weights = '%s')"% (n_neighbors, weights))plt.show()plt.savefig('weight.tiff')