XGBoost参数介绍
XGBoost 的设置有三种参数:⼀般参数,提升参数和学习参数。
⼀般参数取决于提升器,通常是树或线性模型
提升参数取决于选择的提升器的相关参数
学习参数取决于指定学习任务和相应的学习⽬标
⼀般参数 (general parameters)
booster:选择提升器,默认是 tree
letterpresssilent:是否打印信息,默认是 0 不打印
nthread:线程数,默认为最⼤可⽤线程数
毕业论文答辩技巧
香港留学申请num_pbuffer:缓冲区⼤⼩,默认为训练实例的数量
num_feature:特征纬度,默认为特征的最⾼纬度
提升参数 (booster parameters)
eta:学习率,范围 [0, 1],默认为 0.3。该参数越⼩,计算速度越慢;该参数越⼤,有可能⽆法收敛
gamma:控制叶⼦个数的参数,范围 [0, +∞),默认为 0。该参数越⼤,越不容易过拟合
max_depth:每颗树的最⼤深度,范围 [0, +∞),默认为 6。该参数越⼤,越容易过拟合
min_child_weight:每个叶⼦⾥⾯的最⼩权重和,范围 [0, +∞),默认为 1。该参数越⼤,越不容易过拟合
subsample:样本采样⽐率,范围 (0, 1],默认为 1。如果取 0.5 代表随机⽤ 50% 的样本集⽤来训练
colsample_bytree:列采样⽐率,范围 (0, 1],默认为 1。对每棵树的⽣成⽤的特征进⾏列采样,类似于随机森林的列采样
lambda:L2 正则化参数,范围 [0, +∞),默认为 1。该参数越⼤,越不容易过拟合。
libor
alpha:L1 正则化参数,范围 [0, +∞),默认为 0。该参数越⼤,越不容易过拟合。
scale_pos_weight:控制正反类的平衡参数,范围 [0, +∞),默认为 1。该参数通常设为“反类的总和/
hubris
正类的总和”
学习参数 (learning parameters)
objective:损失函数,默认为 linear。其他常见类型有:
猴子英文怎么写reg:logistic – ⼆分类
binary:logistic – ⼆分类概率
multi:softmax – 多分类
multi:softprob – 多分类概率
rank:pairwi – 排序
ba_score:预测分数,默认为 0.5。最初每个样例的预测分数。
eval_metric:评估指标。该指标⽤在验证集上,⽐如回归任务默认的是 rm;分类任务默认为 error;排序任务默认为 map。其他常见类型有:
rm – root mean square error
the natural
广州厨师培训中心mae – mean absolute error
logloss – negative log-likelihood培训会计
error – binary classification error rate
merror – multiclass classification error rate
4860mlogloss – multiclass logloss
auc – area under the curve
map – mean average precision
ed:随机种⼦,默认为 0,⽤于产⽣可复现的结果