天池数据竞赛 | 工业蒸汽量预测（完整代码分享）
项目总结
一、任务背景
本任务旨在通过机器学习方法预测工业锅炉产生的蒸汽量（Target: train.txt中的target字段），并基于提供的特征变量（train.txt中的V0-V37）建立有效的预测模型。
二、数据分析流程
读取与分割数据
使用pandas加载训练集与测试集，并通过traintestsplit将数据划分为训练集与验证集。
异常样本检测与剔除
- 使用残差分布直方图观察异常值分布情况。
- 剔除显著异常样本后发现大量低质量变量（如V5, V9等），进一步分析发现这些变量具有高度左偏分布且相关系数较低。
特征工程- 对偏态分布的特征进行正态化转换。
- 对剩余特征进行标准化处理以消除量纲差异影响。
建模流程- 利用Lasso回归去除不重要的无关变量并降低过拟合风险。
- 对SVR进行参数调优以优化预测效果。
- 使用XGBoost回归构建强基模型，并通过交叉验证寻找最优超参数组合。
结果融合- 对Lasso、SVR、XGB三种基本回归器进行加权融合，最终取得验证集上的最优MSE为0.1121。
最终提交- 将三种模型预测结果按权重平均后输出至指定文件格式。
三、关键点总结
数据预处理的重要性：- 异常值剔除避免噪声干扰；
- 特征正态化消除异方差；
- 标准化处理消除量纲差异。
模型选择与调优：- Lasso回归用于线性关系建模；
- SVR通过核函数灵活捕捉非线性关系；
- XGBoost作为树机学习算法展现了强大的泛化能力；
结果融合的优势：- 避免单一模型局限性；
- 提高整体预测稳定性与准确性；
总体流程框架：
plaintext 数据读取 -> 数据预处理 -> 模型构建 -> 参数优化 -> 模型评估 -> 结果融合 -> 最终输出
四、思考总结
数据分析是建模的基础，在初步了解业务背景后需深入探究数据特点及潜在影响因素。
特征工程尤其是对偏态分布变量及异常值的处理至关重要；
不同算法适用于不同场景下需灵活选择并结合交叉验证
BY：乔木
目录
-
题目描述
-
一、导入数据 | 观察数据
-
二、特征工程
-
三、模型训练
-
- 模型1: Lasso回归
- 模型2: 支持向量回归（SVR）
- 模型3: XGB回归（XGBRegressor ）
-
四、模型评估
-
五、模型预测
题目描述
竞赛平台：预测分析
赛题背景
火力发电的基本原理是：燃料在燃烧时加热水生成蒸汽，蒸汽压力推动汽轮机旋转，然后汽轮机带动发电机旋转，产生电能。 在这一系列的能量转化中，影响发电效率的核心是锅炉的燃烧效率，即燃料燃烧加热水产生高温高压蒸汽。锅炉的燃烧效率的影响因素很多，包括锅炉的可调参数，如燃烧给量，一二次风，引风，返料风，给水水量；以及锅炉的工况，比如锅炉床温、床压，炉膛温度、压力，过热器的温度等。赛题描述
经脱敏后的锅炉传感器采集的数据（采集频率是分钟级别），根据锅炉的工况，预测产生的蒸汽量。
数据说明
数据分成训练数据（train.txt）和测试数据（test.txt），其中字段 V0-V37，这38个字段是作为特征变量，target作为目标变量。 选手利用训练数据训练出模型，预测测试数据的目标变量，排名结果依据预测结果的 MSE（mean square error）。结果提交
选手需要提交测试数据的预测结果（txt格式，只有1列预测结果）。结果评估
预测结果以mean square error作为评判标准。
一、导入数据 | 观察数据
导入相关的库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
sns.set(style='ticks')
from scipy import stats
from sklearn.decomposition import PCA
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.model_selection import train_test_split, GridSearchCV, learning_curve, RepeatedKFold
from sklearn.linear_model import LinearRegression, RidgeCV, LassoCV
from sklearn.svm import SVR
from xgboost import XGBRegressor
import warnings
warnings.filterwarnings('ignore')导入数据
dtrain = pd.read_csv('zhengqi_train.txt', sep='\t')
dtest = pd.read_csv('zhengqi_test.txt', sep='\t')
dfull = pd.concat([dtrain, dtest], ignore_index=True, sort=False)
print('训练集大小: ', np.shape(dtrain))
print('测试集大小: ', np.shape(dtest))训练集大小: (2888, 39)
测试集大小: (1925, 38)
观察数据基本分布情况
plt.figure(figsize=(18,8),dpi=100)
dfull.boxplot(sym='r^', patch_artist=True, notch=True)
plt.title('DATA-FULL')
- 数据集包含38个自变量和一个因变量
- 所有自变量以及能源消耗因变量均为连续型数据
- 大部分观测值集中于0区域，并呈现相似的尺度范围
# 查看数据缺失情况
print('缺失值统计：')
print(dfull.apply(lambda x: sum(x.isnull())))缺失值统计：
V0 0
V1 0
V2 0
V3 0
V4 0
…
V34 0
V35 0
V36 0
V37 0
target 1925
dtype: int64
无缺失数据
接下来绘制数据相关性热力图，查看数据相关性情况
def heatmap(df):
plt.figure(figsize=(20,16), dpi=100)
cols = df.columns.tolist()
mcorr = df[cols].corr(method = 'spearman')
cmap = sns.diverging_palette(220, 10, as_cmap=True)
mask = np.zeros_like(mcorr, dtype = np.bool)
mask[np.triu_indices_from(mask)] = True # 角分线右侧为True
g = sns.heatmap(mcorr, mask=mask, cmap=cmap, square=True, annot=True, fmt='0.2f')
plt.xticks(rotation=45)
return mcorr
dtrain_mcorr = heatmap(dtrain)
在热力图的分析中发现，在各个维度之间存在着显著的多重共线性特征，并且针对这一现象可供采用的解决方案共有三种
- 主成分降维技术（PCA）：在实际应用中可能会导致模型精度下降
- 正则化机制：在诸多成熟的机器学习模型中被广泛应用，并且具有良好的泛化能力。
- 逐步回归算法：相较于其他方法而言，该算法操作较为复杂，并不推荐使用。
本次比赛中,考虑采用主成分分析法进行数据降维处理,但经过尝试后发现预测效果并不十分理想,最终的最佳线上成绩为0.1306。因此,在本文中没有采用主成分分析（PCA）方案,而是仅仅通过模型调参和正则化方法来消除多重共线性的问题。然而,在面对海量特征时,这也是值得一试的解决办法之一。
二、特征工程
在本项目中我对数据进行了细致的处理工作 其中最为关键的是完成了特征工程这一环节 这一做法在很大程度上制约了预测结果的质量
去除训练集与测试集分布失衡 的特征变量；分析特征与目标的相关性，并移除相关性低于0.1的无关变量；计算特征偏态系数，并对明显左偏或右偏的数据进行正态化处理；对剩余特征数据执行标准化处理
此外, 如需了解更多信息关于更多特征处理方法的详细内容, 请访问工业蒸汽量预测 | 天池论坛
创建特征剔除函数，方便对数据进行统一处理
# 删除dfull表中指定的列
def drop_var(var_lst):
dfull.drop(var_lst, axis=1, inplace=True)
# 将dfull重新分割为dtrain核dtest
def split_dfull():
dtrain = dfull[dfull['target'].notnull()]
dtest = dfull[dfull['target'].isnull()]
dtest.drop('target', axis=1, inplace=True)
return dtrain, dtest1. 剔除训练集与测试集分布不均匀的特征变量
针对38个特征变量画训练数据和测试数据特征分布直方图
plt.figure(figsize=(20,50),dpi=100)
for i in range(38):
plt.subplot(10,4,i+1)
sns.distplot(dtrain.iloc[:,i], color='green')
sns.distplot(dtest.iloc[:,i], color='red')
plt.legend(['Train','Test'])
plt.tight_layout()
通过分析各特征的数据分布直方图发现：V5、V9、V11、V17、V20、V21、V22、V27、V28 这些特征在训练集与测试集中呈现显著的分布差异。鉴于此，在预测模型中存在因数据在训练集与测试集中分布不均匀而导致的预测偏差风险。因此建议对该系列特征进行筛选处理
drop_var(['V5','V9','V11','V17','V20','V21','V22','V27','V28'])
dtrain, dtest = split_dfull()2. 查看各特征与结果变量的相关性，以及是否服从正态分布
通过sns.regplot分析特征与目标变量间的线性关系程度；
借助sns.distplot观察每个特征分布情况的同时完成正态拟合。
plt.figure(figsize=(20,60),dpi=80)
i = 0
for col in dtrain.columns:
i += 1
plt.subplot(15,4,i)
sns.regplot(col, 'target', data = dtrain,
scatter_kws = {'marker': '.', 's': 5, 'alpha': .6},
line_kws = {'color': 'k'})
coef = np.corrcoef(dtrain[col], dtrain['target'])[0][1]
plt.title(f'coef = {coef}')
plt.xlabel(col)
plt.ylabel('target')
i += 1
plt.subplot(15,4,i)
sns.distplot(dtrain[col], fit = stats.norm)
plt.title(f'skew = {stats.skew(dtrain[col])}')
plt.xlabel(col)
plt.tight_layout()
从图中可看出：
- V14、V25、V26、V32、V33、V34和 V35 这些变量与因变量的相关程度极低, 因此建议剔除
- V0, V1, V6, V7, V8, V12, V16和 V31 这些指标呈现出明显的左偏分布特征, 可采取对数转换方法来缓解这一问题
3. 删除无关变量
drop_var(['V14','V25','V26','V32','V33','V34','V35'])
dtrain, dtest = split_dfull()4. 对偏态数据进行正态化转换
# 分布呈明显左偏的特征
piantai = ['V0','V1','V6','V7','V8','V12','V16','V31']
# 创建函数——找到令偏态系数绝对值最小的对数转换的底
def find_min_skew(data):
subs = list(np.arange(1.01,2,0.01))
skews = []
for x in subs:
skew = abs(stats.skew(np.power(x,data)))
skews.append(skew)
min_skew = min(skews)
i = skews.index(min_skew)
return subs[i], min_skew偏态数据对数转换前后对比可视化
plt.figure(figsize=(20,36), dpi=80)
i = 0
for col in piantai:
# 正态化之前的偏态特征与结果变量相关图与正态分布图
i += 1
plt.subplot(8,4,i)
sns.regplot(col, 'target', data = dtrain,
scatter_kws = {'marker': '.', 's': 5, 'alpha': .6},
line_kws = {'color': 'k'})
coef = np.corrcoef(dtrain[col], dtrain['target'])[0][1]
plt.title(f'coef = {coef}')
plt.xlabel(col)
plt.ylabel('target')
i += 1
plt.subplot(8,4,i)
sns.distplot(dtrain[col], fit = stats.norm)
plt.title(f'skew = {stats.skew(dtrain[col])}')
plt.xlabel(col)
# 找到合适的底数，对dtrain的偏态特征进行对数转换
sub = find_min_skew(dfull[col])[0]
dtrain[col] = np.power(sub, dtrain[col])
# 对数转换之后特征与结果变量相关图与正态分布图
i += 1
plt.subplot(8,4,i)
sns.regplot(col, 'target', data = dtrain,
scatter_kws = {'marker': '.', 's': 5, 'alpha': .6},
line_kws = {'color': 'k'})
coef = np.corrcoef(dtrain[col], dtrain['target'])[0][1]
plt.title(f'coef = {coef}')
plt.xlabel(col+' transformed')
plt.ylabel('target')
i += 1
plt.subplot(8,4,i)
sns.distplot(dtrain[col], fit = stats.norm)
plt.title(f'skew = {stats.skew(dtrain[col])}')
plt.xlabel(col+' transformed')
plt.tight_layout()
通过该方法实施后……偏态指标降至显著水平……而相关属性的变化并未产生显著影响；这表明……该系统成功地实现了特征分布的正态化
因此，对训练集和测试集偏态特征同时进行对数转换
for col in piantai:
sub = find_min_skew(dfull[col])[0]
dfull[col] = np.power(sub, dfull[col])
dtrain, dtest = split_dfull()5. 对剩余特征数据进行标准化
采用 z-score标准化 方法
dfull.iloc[:,:-1] = dfull.iloc[:,:-1].apply(lambda x: (x-x.mean())/x.std())
dtrain, dtest = split_dfull()特征工程完成！
查看完成后特征分布直方图
plt.figure(figsize=(20,20),dpi=80)
for i in range(22):
plt.subplot(6,4,i+1)
sns.distplot(dtrain.iloc[:,i], color='green')
sns.distplot(dtest.iloc[:,i], color='red')
plt.legend(['Train','Test'])
plt.tight_layout()
三、模型训练
在模型训练开始前一步骤中，在使用岭回归方法进行预测时（即基于当前数据集），首先需要去除训练集中具有显著偏差的样本点（这些点对应于预测残差超过3σ范围的情况）。随后将采用以下几种回归模型分别开展拟合和优化工作
- Lasso 回归
- SVR 回归
- XGBoost 回归
将训练数据分割为训练集与验证集
X = np.array(dtrain.iloc[:,:-1])
y = np.array(dtrain['target'])
X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size=0.2, random_state=0)创建模型评分函数
def score(y, y_pred):
# 计算均方误差 MSE
print('MSE = {0}'.format(mean_squared_error(y, y_pred)))
# 计算模型决定系数 R2
print('R2 = {0}'.format(r2_score(y, y_pred)))
# 计算预测残差，找异常点
y = pd.Series(y)
y_pred = pd.Series(y_pred, index=y.index)
resid = y - y_pred
mean_resid = resid.mean()
std_resid = resid.std()
z = (resid - mean_resid) / std_resid
n_outliers = sum(abs(z)>3)
# 图一：真实值vs预计值
plt.figure(figsize=(18,5), dpi=80)
plt.subplot(131)
plt.plot(y, y_pred, '.')
plt.xlabel('y')
plt.ylabel('y_pred')
plt.title('corr = {:.3f}'.format(np.corrcoef(y,y_pred)[0][1]))
# 图二：残差分布散点图
plt.subplot(132)
plt.plot(y, y-y_pred, '.')
plt.xlabel('y')
plt.ylabel('resid')
plt.ylim([-3,3])
plt.title('std_resid = {:.3f}'.format(std_resid))
# 图三：残差z得分直方图
plt.subplot(133)
sns.distplot(z, bins=50)
plt.xlabel('z')
plt.title('{:.0f} samples with z>3'.format(n_outliers))
plt.tight_layout()开始模型训练前，利用岭回归模型预测，剔除异常样本
# 利用RidgeCV函数自动寻找最优参数
ridge = RidgeCV()
ridge.fit(X_train, y_train)
print('best_alpha = {0}'.format(ridge.alpha_))
y_pred = ridge.predict(X_train)
score(y_train, y_pred)best_alpha = 10.0
MSE = 0.12396474687013001
R2 = 0.8695133658493558
识别异常数据样本点并进行删除操作
resid = y_train - y_pred
resid = pd.Series(resid, index=range(len(y_train)))
resid_z = (resid-resid.mean()) / resid.std()
outliers = resid_z[abs(resid_z)>3].index
print(f'{len(outliers)} Outliers:')
print(outliers.tolist())
plt.figure(figsize=(14,6),dpi=60)
plt.subplot(121)
plt.plot(y_train, y_pred, '.')
plt.plot(y_train[outliers], y_pred[outliers], 'ro')
plt.title(f'MSE = {mean_squared_error(y_train,y_pred)}')
plt.legend(['Accepted', 'Outliers'])
plt.xlabel('y_train')
plt.ylabel('y_pred')
plt.subplot(122)
sns.distplot(resid_z, bins = 50)
sns.distplot(resid_z.loc[outliers], bins = 50, color = 'r')
plt.legend(['Accepted', 'Outliers'])
plt.xlabel('z')
plt.tight_layout()29 Outliers: [89, 407, 652, 725, 768, 797, 829, 875, 907, 1123, 1190,
1195, 1236, 1295, 1324, 1366, 1544, 1641, 1662, 1706, 1718, 1833,
1983, 2013, 2022, 2025, 2084, 2124, 2279]
# 异常样本点剔除
X_train = np.array(pd.DataFrame(X_train).drop(outliers,axis=0))
y_train = np.array(pd.Series(y_train).drop(outliers,axis=0))开始进行模型训练
模型1: Lasso回归
利用LassoCV自动选择最佳正则化参数
lasso = LassoCV(cv=5)
lasso.fit(X_train, y_train)
print('best_alpha = {0}'.format(lasso.alpha_))
pred_lasso = lasso.predict(X_valid)
score(y_valid, pred_lasso)best_alpha = 0.0008145685058014669
MSE = 0.1335263089686254
R2 = 0.8715017160007512
模型2: 支持向量回归（SVR）
模型参数：
-
kernel [default=‘rbf’]:
指定在算法中使用的核类型。该参数可接受线性（linear）、多项式（poly）、径向基函数（rbf）、sigmoidal、预计算（precomputed）或其他可计算类型的核函数之一。若未指定，默认设置为径向基函数核。若提供 callable，则用于预先计算核矩阵- C [default=0]:
错误术语的惩罚参数C.
- C [default=0]:
gamma参数的默认值设为'auto'。其中核函数类型包括径向基函数核（rbf）、多项式核（poly）以及 sigmod 核。其计算方式基于特征数量nfeatures。当传递gamma='scale'时，则取1除以特征数量nfeatures乘以X的标准差作为该参数的值。
采用sklearn的GridSearchCV参数搜索机制对支持向量回归（SVR）模型进行参数优化。
构建基于GridSearchCV的参数优化框架，并以均方误差作为评估指标；同时利用K折交叉验证作为评估手段。
def gsearch(model, param_grid, scoring='neg_mean_squared_error', splits=5, repeats=1, n_jobs=-1):
# p次k折交叉验证
rkfold = RepeatedKFold(n_splits=splits, n_repeats=repeats, random_state=0)
model_gs = GridSearchCV(model, param_grid=param_grid, scoring=scoring, cv=rkfold, verbose=1, n_jobs=-1)
model_gs.fit(X_train, y_train)
print('参数最佳取值: {0}'.format(model_gs.best_params_))
print('最小均方误差: {0}'.format(abs(model_gs.best_score_)))
return model_gs使用SVR回归器预设的径向基函数（RBF）内核，对应高斯核函数。
通过交叉验证（CV）方法，在正则化参数C和核函数缩放参数γ上进行网格搜索优化。
svr = SVR()
cv_params = {'C': np.logspace(0, 3, 4), 'gamma': np.logspace(-4, -1, 4)}
svr = gsearch(svr, cv_params)参数最佳取值: {‘C’: 100.0, ‘gamma’: 0.001}
最小均方误差: 0.09654670260096526
缩小参数范围进行细调：
svr = SVR()
cv_params = {'C': [1,2,5,10,15,20,30,50,80,100,150,200], 'gamma': [0.0001,0.0005,0.0008,0.001,0.002,0.003,0.005]}
svr = gsearch(svr, cv_params)参数最佳取值: {‘C’: 15, ‘gamma’: 0.005}
最小均方误差: 0.09545332435605208
确定最佳参数（C:15, gamma：0.005）
验证集预测
pred_svr = svr.predict(X_valid)
score(y_valid, pred_svr)MSE = 0.11299160551598528
R2 = 0.8912631710763776
模型3: XGB回归（XGBRegressor ）
模型参数：
-
n_estimators [default=100]:
决策树的棵树，即总共迭代的次数 -
learning_rate [default=0.3]:
该调节参数用于调整叶子节点权重的更新幅度，在每次迭代中通过乘以该系数来实现缩减效果。当其数值较大时可能会导致更新幅度过大而难以收敛。
适当调低eta参数值（即学习率），有助于模型逐步优化并避免过快的振荡或发散。-
min_child_weight [default=1]:
这个参数默认是 1，是每个叶子里面 h 的和至少是多少，对正负样本不均衡时的 0-1 分类而言，假设 h 在 0.01 附近，min_child_weight 为 1 意味着叶子节点中最少需要包含 100 个样本。这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数值越小，越容易 overfitting。 -
max_depth [default=6]:
每颗树的最大深度，树高越深，越容易过拟合。 -
max_leaf_nodes :
最大叶结点数，与max_depth作用有点重合。 -
gamma [default=0]:
后剪枝时，用于控制是否后剪枝的参数。
-
该参数在更新过程中发挥重要作用，在算法运行过程中起到关键调控作用。
若设置为0，则表示无限制；而若设置为正值，则将使整个算法的更新过程更加谨慎稳定。
这种设计有助于避免过大的更新幅度所带来的潜在问题，并保证优化过程的平稳性与可靠性。
-
subsample [default=1]:
样本随机采样，较低的值使得算法更加保守，防止过拟合，但是太小的值也会造成欠拟合。 -
colsample_bytree [default=1]:
该参数用于实现列采样机制，在构建每棵决策树的过程中所使用的特征会被随机采样。该方法有助于减少计算开销并防止模型过拟合。通常建议设置其值在0.5到1之间。
通过L2正则化调整模型复杂度的权重值参数，默认值为1
-
reg_alpha [default=0]:
控制模型复杂程度的权重值的 L1 正则项参数，参数值越大，模型越不容易过拟合。 -
scale_pos_weight [默认值为1]：当其数值大于零时，在类别样本存在不平衡的情况下有助于加快模型训练速度。
该文档详细介绍了XGBRegressor的参数优化方案及其应用技巧
# 初始参数值
params = {'learning_rate': 0.1, 'n_estimators': 500, 'max_depth': 5, 'min_child_weight': 1, 'seed': 0,
'subsample': 0.8, 'colsample_bytree': 0.8, 'gamma': 0, 'reg_alpha': 0, 'reg_lambda': 1}- 最佳迭代次数：n_estimators
cv_params = {'n_estimators': [100,200,300,400,500,600,700,800,900,1000,1100,1200]}
xgb = XGBRegressor(**params)
xgb = gsearch(xgb, cv_params)参数最佳取值: {‘n_estimators’: 500}
最小均方误差: 0.10051833286889462
# 更新参数
params['n_estimators'] = 500- min_child_weight 以及 max_depth
cv_params = {'max_depth': [3,4,5,6,7,8,9],
'min_child_weight': [1,2,3,4,5,6,7]}
xgb = XGBRegressor(**params)
xgb = gsearch(xgb, cv_params)参数最佳取值: {‘max_depth’: 4, ‘min_child_weight’: 7}
最小均方误差: 0.09550672795811381
# 更新参数
params['max_depth'] = 4
params['min_child_weight'] = 7- 后剪枝参数 gamma
cv_params = {'gamma': [0,0.01,0.05,0.1,0.2,0.3,0.4,0.5,0.6]}
xgb = XGBRegressor(**params)
xgb = gsearch(xgb, cv_params)参数最佳取值: {‘gamma’: 0}
最小均方误差: 0.09550672795811381
# 更新参数
params['gamma'] = 0- 样本采样subsample 和 列采样colsample_bytree
cv_params = {'subsample': [0.6,0.7,0.8,0.9],
'colsample_bytree': [0.6,0.7,0.8,0.9]}
xgb = XGBRegressor(**params)
xgb = gsearch(xgb, cv_params)参数最佳取值: {‘colsample_bytree’: 0.8, ‘subsample’: 0.8}
最小均方误差: 0.09550672795811381
# 更新参数
params['subsample'] = 0.8
params['colsample_bytree'] = 0.8- L1正则项参数reg_alpha 和 L2正则项参数reg_lambda
cv_params = {'reg_alpha': [0,0.02,0.05,0.1,1,2,3],
'reg_lambda': [0,0.02,0.05,0.1,1,2,3]}
xgb = XGBRegressor(**params)
xgb = gsearch(xgb, cv_params)参数最佳取值: {‘reg_alpha’: 0, ‘reg_lambda’: 1}
最小均方误差: 0.09550672795811381
# 更新参数
params['reg_alpha'] = 0
params['reg_lambda'] = 1- 最后是learning_rate，一般这时候要调小学习率来测试
cv_params = {'learning_rate': [0.01, 0.02, 0.03, 0.04, 0.05, 0.07, 0.1, 0.2]}
xgb = XGBRegressor(**params)
xgb = gsearch(xgb, cv_params)参数最佳取值: {‘learning_rate’: 0.04}
最小均方误差: 0.09450026627677707
# 更新参数
params['learning_rate'] = 0.04参数调优完成，以验证集进行模型误差验证
pred_xgb = xgb.predict(X_valid)
score(y_valid, pred_xgb)MSE = 0.12008146312295086
R2 = 0.8844402869321888
四、模型评估
学习曲线 (learning_curve)
在训练模型时, 我们经常需要评估模型是否出现过拟合或欠拟合的情况, 这时候就需要使用性能曲线来辅助分析. 学习曲线主要描述了不同数据规模下模型在训练集和验证集上的表现变化情况, 通过观察两条曲线之间的差距程度能够大致评估模型的泛化能力.
models = [lasso, svr, xgb]
model_names = ['Lasso','SVR','XGB']
plt.figure(figsize=(20,5))
for i,m in enumerate(models):
train_sizes, train_scores, test_scores = learning_curve(m, X, y, cv=5, scoring='neg_mean_squared_error',
train_sizes=np.linspace(0.1,1.0,5), n_jobs=-1)
train_scores_mean = -train_scores.mean(axis=1)
test_scores_mean = -test_scores.mean(axis=1)
plt.subplot(1,3,i+1)
plt.plot(train_sizes, train_scores_mean, 'o-', label='Train')
plt.plot(train_sizes, test_scores_mean, '^-', label='Test')
plt.xlabel('Train_size')
plt.ylabel('Score')
plt.ylim([0,0.35])
plt.title(model_names[i], fontsize=16)
plt.legend()
plt.grid()
plt.tight_layout()
通过学习曲线可以看出，Lasso和SVR模型均表现出尚可的效果；而XGB回归模型显示出轻微的过拟合现象。目前阶段需进一步对模型参数进行优化调整以改善其性能表现。
模型加权融合
针对多个模型输出，在综合分析的基础上采用加权融合的方法将各模型输出加以整合，并非简单取均值而是根据各子网络特性赋予其相应的权重系数以优化整体性能。
为了最小化均方误差（MSE）指标，在训练阶段需要系统地评估各类权重分配方案的有效性。
def model_mix(pred_1, pred_2, pred_3):
result = pd.DataFrame(columns=['Lasso','SVR','XGB','Combine'])
for a in range(5):
for b in range(1,6):
for c in range(5):
y_pred = (a*pred_1 + b*pred_2 + c*pred_3) / (a+b+c)
mse = mean_squared_error(y_valid, y_pred)
result = result.append([{'Lasso':a, 'SVR':b, 'XGB':c, 'Combine':mse}], ignore_index=True)
return result
model_combine = model_mix(pred_lasso, pred_svr, pred_xgb)
model_combine.sort_values(by='Combine', inplace=True)
model_combine.head()
研究结果表明，在基于验证集的数据下，Lasso回归模型采用权重为1/8的设置，在SVR模型中应用权重为8/5的设置，在XGBRegressor模型中采用权重为1/4的设置时，能够获得预测数据的均方误差达到最小值。其中，在实际应用中观察到Min(MSE)=0.1121。
五、模型预测
对3种模型预测结果进行加权融合
X_test = np.array(dtest)
ans_lasso = lasso.predict(X_test)
ans_svr = svr.predict(X_test)
ans_xgb = xgb.predict(X_test)
ans_mix = (ans_lasso + 5 * ans_svr + 2 * ans_xgb) / 8
pd.Series(ans_mix).to_csv('正态+标准化.txt', sep='\t', index=False)
print('Finished!')Finished!
线上提交分数：MSE = 0.1222
排名 345 / 4792
一点感想：
在本次比赛中，“首先 ，通过这个赛题核心收获在于能够提炼出其中的关键经验。”
于我而言，“我认为最重要的与最需要学习的有以下几点：在比赛中积累的经验教训和理论知识具有重要价值。”
- 针对比赛进行全面的数据分析并建立系统的分析框架
- 系统性的特征工程思路和具体操作：包括数据标准化（如归一化处理）、数据去噪（如降噪算法）以及主成分分析（PCA）等技术
- 深入探讨模型构建与优化策略：在本次比赛中，我主要基于线性回归、支持向量机和支持向量回归等基本算法进行了模型构建，并选择了单个最优模型作为预测方案；而实际应用中可进一步探索集成学习方法（如随机森林、梯度提升树和神经网络等）以提高预测精度
此外，在面对锅炉运行状况的新手或不解其深奥原理时（例如），达到0.12至0.13水平已经很不错），并未带来实质性的进展）。实际上这一水平已足够满足需求（例如，在选择模型时需关注哪些关键指标？）。通常情况下可能因问题而异，并且可能涉及一定的专业知识来优化这些方面？
综上所述 ，最好的学习方式是分享 ，我们期待各位同好能在评论区积极分享自己的观点与心得 ~