XGBoostClassifier参数
XGBoost 参数
learning_rate:学习率 [0-1] - 0.3
新路径英语n_estimators:模型中建⽴树的数量 [0-100] - 100
max_depth:树的最⼤深度,最⼤容易过拟合 [3-15] - 6
min_child_weight:划分到某个叶⼦节点的所有样本权重之和的最⼩值 [0-10] - 1
gamma:划分到叶⼦节点所需要达到的最⼩损失减少值 [0-10] -0
subsample:训练时使⽤的⼦样本占全部训练集的⽐例 [0.5-1] 1
colsamle_bytree:建树时使⽤的特征占总特征的⽐例 [0.5,1]-1
reg_alpha:L1正则化权重,越⼤可以防⽌过拟合 [0-10]-0
reg_lambda:L2正则化权重,越⼤可以防⽌过拟合 [0-10]-1
影视后期培训1.模型参数
n_estimatores
含义:总共迭代的次数,即决策树的个数
调参:
early_stopping_rounds
含义:在验证集上,当连续n次迭代,分数没有提⾼后,提前终⽌训练。
调参:防⽌overfitting。
max_depth
含义:树的深度,默认值为6,典型值3-10。
调参:值越⼤,越容易过拟合;值越⼩,越容易⽋拟合。
min_child_weight
含义:默认值为1,。
调参:值越⼤,越容易⽋拟合;值越⼩,越容易过拟合(值较⼤时,避免模型学习到局部的特殊样本)。subsample
含义:训练每棵树时,使⽤的数据占全部训练集的⽐例。默认值为1,典型值为0.5-1。
调参:防⽌overfitting。
colsample_bytree
weeks含义:训练每棵树时,使⽤的特征占全部特征的⽐例。默认值为1,典型值为0.5-1。
光芒英文调参:防⽌overfitting。
2.学习任务参数
learning_rate
含义:学习率,控制每次迭代更新权重时的步长,默认0.3。
调参:值越⼩,训练越慢。
典型值为0.01-0.2。
objective ⽬标函数
回归任务
reg:linear (默认)
reg:logistic
⼆分类
binary:logistic 概率
binary:logitraw 类别
unfriend you多分类
mwemulti:softmax num_class=n 返回类别
multi:softprob num_class=n 返回概率
rank:pairwi
eval_metric
回归任务(默认rm)
rm–均⽅根误差
mapexmae–平均绝对误差
分类任务(默认error)
auc–roc曲线下⾯积
error–错误率(⼆分类)
merror–错误率(多分类)
logloss–负对数似然函数(⼆分类)
mlogloss–负对数似然函数(多分类)
ed(默认0)
if i let you go
随机数的种⼦ 设置它可以复现随机数据的结果,也可以⽤于调整参数这个包中的参数是按sklearn风格命名的。会改变的函数名是:
eta ->learning_rate
lambda->reg_lambda
alpha->reg_alpha
3.常规参数
discharge
gamma
惩罚项系数,指定节点分裂所需的最⼩损失函数下降值。
调参:
alpha
L1正则化系数,默认为1
lambda
2013考研政治真题L2正则化系数,默认为1
booster
gbtree 树模型做为基分类器(默认)
gbliner 线性模型做为基分类器
silent
silent=0时,不输出中间过程(默认)
silent=1时,输出中间过程
nthread
nthread=-1时,使⽤全部CPU进⾏并⾏运算(默认)
nthread=1时,使⽤1个CPU进⾏运算。
scale_pos_weight
正样本的权重,在⼆分类任务中,当正负样本⽐例失衡时,设置正样本的权重,模型效果更好。例如,当正负样本⽐例为1:10时,scale_pos_weight=10。