python分类变量xgboost_xgboost多分类标签怎么设置？XGBoost参数调优完全指南(附Python代码)
译注：⽂内提供的代码和运⾏结果有⼀定差异，可以从这⾥完整代码对照参考。另外，我⾃⼰跟着教程做的时候，发现我的库⽆法解析字符串类型的特征，所以只⽤其中⼀部分特征做的，具体数值跟⽂章中不⼀样，反⽽可以帮助理解⽂章。所以⼤家其实也可以⼩⼩修改⼀下代码，不⼀定要完全跟着教程做~ ^0^
需要提前安装好的库：简介如果你的预测模型表现得有些不尽如⼈意，那就⽤XGBoost吧。XGBoost算法现在已经成为很多数据⼯程师的重要武器。它是⼀种⼗分精致的算法，可以处理各种不规则的数据。
构造⼀个使⽤XGBoost的模型⼗分简单。但是，提⾼这个模型的表现就有些困难(⾄少我觉得⼗分纠结)。这个算法使⽤了好⼏个参数。所以为了提⾼模型的表现，参数的调整⼗分必要。在解决实际问题的时候，有些问题是很难回答的——你需要调整哪些参数？这些参数要调到什么值，才能达到理想的输出？
这篇⽂章最适合刚刚接触XGBoost的⼈阅读。在这篇⽂章中，我们会学到参数调优的技巧，以及XGboost相关的⼀些有⽤的知识。以及，我们会⽤Python在⼀个数据集上实践⼀下这个算法。你需要知道的XGBoost(eXtreme Gradient Boosting)是Gradient Boosting算法的⼀个优化的版本。特别鸣谢：我个⼈⼗分感谢Mr Sudalai Rajkumar (aka SRK)⼤神的⽀持，⽬前他在AV Rank中位列第⼆。如果没有他
的帮助，就没有这篇⽂章。在他的帮助下，我们才能给⽆数的数据科学家指点迷津。给他⼀个⼤⼤的赞！内容列表1、XGBoost的优势
2、理解XGBoost的参数
3、调整参数(含⽰例)1、XGBoost的优势XGBoost算法可以给预测模型带来能⼒的提升。当我对它的表现有更多了解的时候，当我对它的⾼准确率背后的原理有更多了解的时候，我发现它具有很多优势：1、正则化标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。 实际上，XGBoost以“正则化提升(regularized boosting)”技术⽽闻名。2、并⾏处理XGBoost可以实现并⾏处理，相⽐GBM有了速度的飞跃。 不过，众所周知，Boosting算法是顺序处理的，它怎么可能并⾏呢？每⼀课树的构造都依赖于前⼀棵树，那具体是什么让我们能⽤多核处理器去构造⼀个树呢？我希望你理解了这句话的意思。 XGBoost 也⽀持Hadoop实现。3、⾼度的灵活性XGBoost 允许⽤户定义⾃定义优化⽬标和评价标准 它对模型增加了⼀个全新的维度，所以我们的处理不会受到任何限制。
4、缺失值处理XGBoost内置处理缺失值的规则。 ⽤户需要提供⼀个和其它样本不同的值，然后把它作为⼀个参数传进去，以此来作为缺失值的取值。XGBoost在不同节点遇到缺失值时采⽤不同的处理⽅法，并且会学习未来遇到缺失值时的处理⽅法。
5、剪枝当分裂时遇到⼀个负损失时，GBM会停⽌分裂。因此GBM实际上是⼀个贪⼼算法。 XGBoost会⼀直分裂到指定的最⼤深度(max_depth)，然后回过头来剪枝。如果某个节点之后不再有正值，它会去除这个分裂。 这种做法的优点，当⼀个负损失(如-2)后⾯有个正损失(如+10)的时候，就显现出来了。GBM会在-2处停下来，因为它遇到了⼀个负值。但是XGBoost会继续分裂，然后发现这两个分裂综合起来会得到+8，因此会保留这两个分裂。
6、内置交叉验证XGBoost允许在每⼀轮boosting迭代中使⽤交叉验证。因此，可以⽅便地获得最优boosting迭代次数。 ⽽GBM使⽤⽹格搜索，只能检测有限个值。
pala7、在已有的模型基础上继续XGBoost可以在上⼀轮的结果上继续训练。这个特性在某些特定的应⽤上是⼀个巨⼤的优势。 sklearn中的GBM的实现也有这个功能，两种算法在这⼀点上是⼀致的。相信你已经对XGBoost强⼤的功能有了点概念。注意这是我⾃⼰总结出来的⼏点，你如果有更多的想法，尽管在下⾯评论指出，我会更新这个列表的！2、XGBoost的参数XGBoost 的作者把所有的参数分成了三类：
1、通⽤参数：宏观函数控制。
2、Booster参数：控制每⼀步的booster(tree/regression)。
3、学习⽬标参数：控制训练⽬标的表现。
在这⾥我会类⽐GBM来讲解，所以作为⼀种基础知识。通⽤参数这些参数⽤来控制XGBoost的宏观功能。1、booster[默认gbtree]选择每次迭代的模型，有两种选择：
gbtree：基于树的模型
gbliner：线性模型2、silent[默认0]当这个参数值为1时，静默模式开启，不会输出任何信息。 ⼀般这个参数就保持默认的0，因为这样能帮我们更好地理解模型。3、nthread[默认值为最⼤可能的线程数]这个参数⽤来进⾏多线程控制，应当输⼊系统的核数。 如果你希望使⽤CPU全部的核，那就不要输⼊这个参数，算法会⾃动检测它。
还有两个参数，XGBoost会⾃动设置，⽬前你不⽤管它。接下来咱们⼀起看booster参数。booster参数尽管有两种booster可供选择，我这⾥只介绍tree booster，因为它的表现远远胜过linear booster，所以linear booster很少⽤到。1、eta[默认0.3]和GBM中的 learning rate 参数类似。 通过减少每⼀步的权重，可以提⾼模型的鲁棒性。 典型值为0.01-0.2。2、min_child_weight[默认1]决定最⼩叶⼦节点样本权重和。 和GBM的 min_child_leaf 参数类似，但不完全⼀样。XGBoost的这个参数是最⼩样本权重的和，⽽GBM参数是最⼩样本总数。 这个参数⽤于避免过拟合。当它的值较⼤时，可以避免模型学习到局部的特殊样本。 但是如果这个值过⾼，会导致⽋拟合。这个参数需要使⽤CV来调整。3、max_depth[默认6]和GBM中的参数相同，这个值为树的最⼤深度。 这个值也是⽤来避免过拟合的。m
ax_depth 越⼤，模型会学到更具体更局部的样本。 需要使⽤CV函数来进⾏调优。 典型值：3-104、max_leaf_nodes树上最⼤的节点或叶⼦的数量。 可以替代max_depth的作⽤。因为如果⽣成的是⼆叉树，⼀个深度为n的树最多⽣成n2个叶⼦。 如果定义了这个参数，GBM会忽略max_depth参数。5、gamma[默认0]在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最⼩损失函数下降值。 这个参数的值越⼤，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的。6、
max_delta_step[默认0]这参数限制每棵树权重改变的最⼤步长。如果这个参数的值为0，那就意味着没有约束。如果它被赋予了某个正值，那么它会让这个算法更加保守。 通常，这个参数不需要设置。但是当各类别的样本⼗分不平衡时，它对逻辑回归是很有帮助的。 这个参数⼀般⽤不到，但是你可以挖掘出来它更多的⽤处。7、subsample[默认1]和GBM中的subsample参数⼀模⼀样。这个参数控制对于每棵树，随机采样的⽐例。 减⼩这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过⼩，它可能会导致⽋拟合。 典型值：0.5-18、colsample_bytree[默认1]和GBM⾥⾯的max_features参数类似。⽤来控制每棵随机采样的列数的占⽐(每⼀列是⼀个特征)。 典型值：0.5-19、colsample_bylevel[默认1]⽤来控制树的每⼀级的每⼀次分裂，对列数的采样的占⽐。 我个⼈⼀般不太⽤这个参数，因为subsample参数和colsample_bytree参数可以起到相同的作⽤。但是如果感兴趣，可以挖掘这个参数更多的⽤处。10、
lambda[默认1]权重的L2正则化项。(和Ridge regression类似)。 这个参数是⽤来控制XGBoost的正则化部分的。虽然⼤部分数据科学家很少⽤到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多⽤处的。11、alpha[默认1]权重的L1正则化项。(和Lasso regression类似)。 可以应⽤在很⾼维度的情况下，使得算法的速度更快。12、scale_pos_weight[默认1]在各类别样本⼗分不平衡时，把这个参数设定为⼀个正值，可以使算法更快收敛。学习⽬标参数这个参数⽤来控制理想的优化⽬标和每⼀步结果的度量⽅法。1、
objective[默认reg:linear]这个参数定义需要被最⼩化的损失函数。最常⽤的值有：
binary:logistic ⼆分类的逻辑回归，返回预测的概率(不是类别)。 multi:softmax 使⽤softmax的多分类器，返回预测的类别(不是概率)。
在这种情况下，你还需要多设⼀个参数：num_class(类别数⽬)。 multi:softprob 和multi:softmax参数⼀样，但是返回的是每个数据属于各个类别的概率。2、eval_metric[默认值取决于objective参数的取值]对于有效数据的度量⽅法。 对于回归问题，默认值是rm，对于分类问题，默认值是error。 典型值有：
rm 均⽅根误差(∑Ni=1?2N√) mae 平均绝对误差(∑Ni=1|?|N) logloss 负对数似然函数值 error ⼆分类错误率(阈值为0.5) merror 多分类错误率 mlogloss 多分类logloss损失函数 auc 曲线下⾯积3、ed(默
认0)随机数的种⼦ 设置它可以复现随机数据的结果，也可以⽤于调整参数如果你之前⽤的是Scikit-learn，你可能不太熟悉这些参数。但是有个好消息，python的XGBoost模块有⼀个sklearn包，XGBClassifier。这个包中的参数是按sklearn风格命名的。会改变的函数名是：
1、eta ->learning_rate
2、lambda->reg_lambda
3、alpha->reg_alpha
你肯定在疑惑为啥咱们没有介绍和GBM中的’n_estimators’类似的参数。XGBClassifier中确实有⼀个类似的参数，但是，是在标准XGBoost实现中调⽤拟合函数时，把它作为’num_boosting_rounds’参数传⼊。调整参数(含⽰例)我已经对这些数据进⾏了⼀些处理：City变量，因为类别太多，所以删掉了⼀些类别。 DOB变量换算成年龄，并删除了⼀些数据。 增加了 EMI_Loan_Submitted_Missing 变量。如果EMI_Loan_Submitted变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的EMI_Loan_Submitted变量。EmployerName变量，因为类别太多，所以删掉了⼀些类别。 因为Existing_EMI变量只有111个值缺失，所以缺失值补充为中位数0。 增加了 Interest_Rate_Missing 变量。如果Interest_Rate变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的Interest_Rate变量。 删除了Lead_Creation_Date，从直觉上这个特征就对最终结果没什么帮助。 Loan_Amount_A
pplied, Loan_Tenure_Applied 两个变量的缺项⽤中位数补⾜。 增加了 Loan_Amount_Submitted_Missing 变量。如果Loan_Amount_Submitted变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的Loan_Amount_Submitted变量。 增加了 Loan_Tenure_Submitted_Missing 变量。如果
Loan_Tenure_Submitted 变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的 Loan_Tenure_Submitted 变量。 删除了LoggedIn, Salary_Account 两个变量 增加了 Processing_Fee_Missing 变量。如果 Processing_Fee 变量的数据缺失，则这个参数的值为1。否则为0。删除了原先的 Processing_Fee 变量。 Source前两位不变，其它分成不同的类别。 进⾏了量化和独热编码(⼀位有效编码)。如果你有原始数据，可以从资源库⾥⾯data_preparation的Ipython notebook ⽂件，然后⾃⼰过⼀遍这些步骤。⾸先，import必要的库，然后加载数据。#Import libraries:
import pandas as pd
import numpy as np
besidesotherwiimport xgboost as xgb
from xgboost.sklearn import XGBClassifier
from sklearn import cross_validation, metrics #Additional scklearn functions雅思班
id_arch import GridSearchCV #Perforing grid arch
import matplotlib.pylab as plt
%matplotlib inline
from matplotlib.pylab import rcParams
rcParams['figure.figsize'] = 12, 4
train = pd.read_csv('train_modified.csv')
target = 'Disburd'
IDcol = 'ID'教学方法有哪些
注意我import了两种XGBoost：xgb - 直接引⽤xgboost。接下来会⽤到其中的“cv”函数。 XGBClassifier - 是xgboost的sklearn包。这个包允许我们像GBM⼀样使⽤Grid Search 和并⾏处理。在向下进⾏之前，我们先定义⼀个函数，它可以帮助我们建⽴XGBoost models 并进⾏交叉验证。好
消息是你可以直接⽤下⾯的函数，以后再⾃⼰的models中也可以使⽤它。def modelfit(alg, dtrain, predictors,uTrainCV=True, cv_folds=5, early_stopping_rounds=50):
if uTrainCV:
xgb_param = _xgb_params()
xgtrain = xgb.DMatrix(dtrain[predictors].values, label=dtrain[target].values)
ted博客cvresult = xgb.cv(xgb_param, xgtrain, num_boost__params()['n_estimators'], nfold=cv_folds,
metrics='auc', early_stopping_rounds=early_stopping_rounds, show_progress=Fal)
alg.t_params(n_estimators=cvresult.shape[0])
#Fit the algorithm on the data
alg.fit(dtrain[predictors], dtrain['Disburd'],eval_metric='auc')
#Predict training t:
dtrain_predictions = alg.predict(dtrain[predictors])
dtrain_predprob = alg.predict_proba(dtrain[predictors])[:,1]
#Print model report:
print "\nModel Report"
print "Accuracy : %.4g" % metrics.accuracy_score(dtrain['Disburd'].values, dtrain_predictions)
print "AUC Score (Train): %f" % _auc_score(dtrain['Disburd'], dtrain_predprob)
feat_imp = pd.Series(alg.booster().get_fscore()).sort_values(ascending=Fal)
feat_imp.plot(kind='bar', title='Feature Importances')
plt.ylabel('Feature Importance Score')
这个函数和GBM中使⽤的有些许不同。不过本⽂章的重点是讲解重要的概念，⽽不是写代码。如果哪⾥有不理解的地⽅，请在下⾯评论，不要有压⼒。注意xgboost的sklearn包没有“feature_importance”这个量度，但是get_fscore()函数有相同的功能。参数调优的⼀般⽅法。我们
会使⽤和GBM中相似的⽅法。需要进⾏如下步骤：
选择较⾼的学习速率(learning rate)。⼀般情况下，学习速率的值为0.1。但是，对于不同的问题，理想的学习速率有时候会在0.05到0.3之间波动。选择对应于此学习速率的理想决策树数量。XGBoost有⼀个很有⽤的函数“cv”，这个函数可以在每⼀次迭代中使⽤交叉验证，并返回理想的决策树数量。
2. 对于给定的学习速率和决策树数量，进⾏决策树特定参数调优(max_depth, min_child_weight, gamma, subsample,
colsample_bytree)。在确定⼀棵树的过程中，我们可以选择不同的参数，待会⼉我会举例说明。
3. xgboost的正则化参数的调优。(lambda, alpha)。这些参数可以降低模型的复杂度，从⽽提⾼模型的表现。
4. 降低学习速率，确定理想参数。咱们⼀起详细地⼀步步进⾏这些操作。第⼀步：确定学习速率和tree_bad 参数调优的估计器数⽬。为了确定boosting 参数，我们要先给其它参数⼀个初始值。咱们先按如下⽅法取值：
1、max_depth = 5 ：这个参数的取值最好在3-10之间。我选的起始值为5，但是你也可以选择其它的值。起始值在4-6之间都是不错的选择。
installshieldwizard
2、min_child_weight = 1：在这⾥选了⼀个⽐较⼩的值，因为这是⼀个极不平衡的分类问题。因此，某些叶⼦节点下的值会⽐较⼩。
3、gamma = 0: 起始值也可以选其它⽐较⼩的值，在0.1到0.2之间就可以。这个参数后继也是要调整的。
4、subsample,colsample_bytree = 0.8: 这个是最常见的初始值了。典型值的范围在0.5-0.9之间。
5、scale_pos_weight = 1: 这个值是因为类别⼗分不平衡。
注意哦，上⾯这些参数的值只是⼀个初始的估计值，后继需要调优。这⾥把学习速率就设成默认的0.1。然后⽤xgboost中的cv函数来确定最佳的决策树数量。前⽂中的函数可以完成这个⼯作。#Choo all predictors except target IDcols
predictors = [x for x lumns if x not in [target,IDcol]]
xgb1 = XGBClassifier(
learning_rate =0.1,
n_estimators=1000,
max_depth=5,
min_child_weight=1,
gamma=0,
subsample=0.8,
colsample_bytree=0.8,
objective= 'binary:logistic',
nthread=4,
scale_pos_weight=1,
ed=27)
modelfit(xgb1, train, predictors)
从输出结果可以看出，在学习速率为0.1时，理想的决策树数⽬是140。这个数字对你⽽⾔可能⽐较⾼，
当然这也取决于你的系统的性能。注意：在AUC(test)这⾥你可以看到测试集的AUC值。但是如果你在⾃⼰的系统上运⾏这些命令，并不会出现这个值。因为数据并不公开。这⾥提供的值仅供参考。⽣成这个值的代码部分已经被删掉了。vcD4NCjwvYmxvY2txdW90ZT4NCjxoMSBpZD0="第⼆步-
maxdepth-和-minweight-参数调优">第⼆步： max_depth 和 min_weight 参数调优我们先对这两个参数调优，是因为它们对最终结果有很⼤的影响。⾸先，我们先⼤范围地粗调参数，然后再⼩范围地微调。
安排英文注意：在这⼀节我会进⾏⾼负荷的栅格搜索(grid arch)，这个过程⼤约需要15-30分钟甚⾄更久，具体取决于你系统的性能。你也可以根据⾃⼰系统的性能选择不同的值。param_test1 = {
'max_depth':range(3,10,2),
'min_child_weight':range(1,6,2)
}
商品流通企业会计实务garch1 = GridSearchCV(estimator = XGBClassifier( learning_rate =0.1, n_estimators=140, max_depth=5, min_child_weight=1, gamma=0, subsample=0.8, colsample_bytree=0.8,
objective= 'binary:logistic', nthread=4, scale_pos_weight=1, ed=27),
param_grid = param_test1, scoring='roc_auc',n_jobs=4,iid=Fal, cv=5)
lucky stargarch1.fit(train[predictors],train[target])
