回归特征选取_[特征选择]特征重要性

    from sklearn.datasets import make_classification, make_regression# 创建分类数据集，5个有用特征，5个无用特征X_class,y_class=make_classification(n_samples=1000,n_features=10,n_informative=5,n_redundant=5,random_state=1)X_reg,y_reg=make_regression(n_samples=1000,n_features=10,n_informative=5,random_state=1)

    # 系数作为特征重要性from sklearn.linear_model import LinearRegression,LogisticRegressionimport matplotlib.pyplot as plt# 定义函数def plot_importance(model,X,y):    model.fit(X,y)    importance=model.coef_if importance.ndim==2:importance=importance[0]for i,v in enumerate(importance):        print('Feature: %0d, Score: %.5f'%(i,v))      plt.bar([*range(len(importance))],importance)        plt.show()# 1 线性回归特征重要性# 在回归数据集上拟合线性回归模型，并检索coeff_属性，该属性包含为每个输入变量找到的系数# 这些系数可以为粗略的特征重要性评分提供依据。这假设输入变量具有相同的比例，或者在拟合模型之前已经进行了比例调整。model = LinearRegression()plot_importance(model,X_reg,y_reg) # 选出了5个重要特征# 2 逻辑回归# 输入数据已进行比例调整model = LogisticRegression()plot_importance(model,X_class,y_class) # 看不出哪个重要#这是类0和1的分类问题。系数是正的和负的。#正的分数表示预测类别1的特征，负的分数表示预测类别0的特征。

    # 决策树、随机森林，XGBoost重要性from sklearn.tree import DecisionTreeClassifier,DecisionTreeRegressorfrom sklearn.ensemble import RandomForestClassifier,RandomForestRegressorfrom xgboost import XGBRegressor,XGBClassifier# 定义函数def plot_importance(model,X,y):    model.fit(X,y)    importance=model.feature_importances_if importance.ndim==2:importance=importance[0]for i,v in enumerate(importance):        print('Feature: %0d, Score: %.5f'%(i,v))      plt.bar([*range(len(importance))],importance)        plt.show()# 1 CART特征重要性# 1.1 回归model = DecisionTreeRegressor()plot_importance(model,X_reg,y_reg) # 选出了3个重要特征# 1.2 分类model = DecisionTreeClassifier()plot_importance(model,X_class,y_class) # 选出了4个重要特征# 2 随机森林# 2.1 回归model = RandomForestRegressor()plot_importance(model,X_reg,y_reg) # 选出了2-3个重要特征# 2.2 分类model = RandomForestClassifier()plot_importance(model,X_class,y_class) # 选出了2-3个重要特征# 3 XGBoost# 3.1 回归model = XGBRegressor()plot_importance(model,X_reg,y_reg) # 选出了2-3个重要特征# 3.2 分类model = XGBClassifier()plot_importance(model,X_class,y_class) # 选出了7个重要特征

    # 排列特征重要性# 模型选用不支持特征选择的KNNfrom sklearn.inspection import permutation_importancefrom sklearn.neighbors import KNeighborsClassifier, KNeighborsRegressor# 定义函数def plot_importance(model,X,y,scoring):    model.fit(X,y)    results=permutation_importance(model,X,y,scoring=scoring)    importance=results.importances_meanif importance.ndim==2:importance=importance[0]for i,v in enumerate(importance):        print('Feature: %0d, Score: %.5f'%(i,v))      plt.bar([*range(len(importance))],importance)        plt.show()# 1 回归model = KNeighborsRegressor()plot_importance(model,X_reg,y_reg,scoring='neg_mean_squared_error') # 选出了2-3个重要特征# 2 分类model = KNeighborsClassifier()plot_importance(model,X_class,y_class,scoring='accuracy') # 选出了2-3个重要特征

    # 1 用所有特征建模并评估模型表现from sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scorefrom sklearn.feature_selection import SelectFromModelX_train,X_test,y_train,y_test=train_test_split(X_class,y_class,test_size=0.33,random_state=1)model=LogisticRegression(solver='liblinear')model.fit(X_train,y_train)yhat=model.predict(X_test)accuracy=accuracy_score(y_test,yhat)print('Accuracy: %.2f'%(accuracy*100))# 2 从模型中进行特征选择fs=SelectFromModel(RandomForestClassifier(n_estimators=200),max_features=5)# 特征选择方法对训练数据进行拟合，然后计算所有输入特征的重要性得分并排序最后选取特征# learning relationship from training datdafs.fit(X_train,y_train)# transform train input dataX_train_fs=fs.transform(X_train)# transform test input dataX_test_fs=fs.transform(X_test)model=LogisticRegression(solver='liblinear')model.fit(X_train_fs,y_train)yhat=model.predict(X_test_fs)accuracy=accuracy_score(y_test,yhat)print('Accuracy: %.2f'%(accuracy*100))# Accuracy: 84.55# Accuracy: 84.55