Xgboost防⽌过拟合的参数整理eta
image.png
learning_rate, 相当于学习率
爸爸的生日祝福语
gamma
image.png
image.png
xgboost的优化式⼦⾥的gamma,起到预剪枝的作⽤。
max_depth
糖炒花生米
碧成语image.png
树的深度,越深越容易过拟合
嫦娥奔月传说
min_child_weight
image.png
新分裂出来的⼀个叶⼦节点,只有当叶⼦节点上hession矩阵的和⼤于这个值时才会分裂,也起到了预剪枝的作⽤。
我的妈妈300字
image.png
按描述来看应该是图中的H之和,具体需要结合代码求证。
subsample
image.png
硫酸的化学性质训练时,对训练数据进⾏采样,来⾃随机森林的做法。
colsample_bytree, colsample_bylevel, colsample_bynode
桂林美景
image.png
每颗树/每层/每个节点分裂时,是否对特征进⾏采样,同样来⾃随机森林的做法。
lambda
image.png L2正则
alpha
image.png L1正则
参考
泰国XxX