Sklearn参数详解—GBDT
东北大学校训前⾔
这篇介绍Boosting的第⼆个模型GBDT，GBDT和Adaboost都是Boosting模型的⼀种，但是略有不同，主要有以下两点不同：GBDT使⽤的基模型是CART决策树，且只能是CART决策树，⽽Adaboost的默认基模型是CART决策树，可以是其他模型。
黄梅戏起源
GBDT通过计算每次模型的负梯度来进⾏模型迭代，⽽Adaboost模型则根据错分率来进⾏模型迭代。
参数
ble.GradientBoostingClassifier(loss='deviance', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_m', min_
因基分类器是决策树，所以很多参数都是⽤来控制决策树⽣成的，这些参数与前⾯决策树参数基本⼀致，对于⼀致的就不进⾏赘述。关于决策树参数看这⾥：
loss：损失函数度量，有对数似然损失deviance和指数损失函数exponential两种，默认是deviance，即对数似然损失，如果使⽤指数损失函数，则相当于Adaboost模型。
criterion: 样本集的切分策略，决策树中也有这个参数，但是两个参数值不⼀样，这⾥的参数值主要有friedman_m、m和mae3个，分
别对应friedman最⼩平⽅误差、最⼩平⽅误差和平均绝对值误差，friedman最⼩平⽅误差是最⼩平⽅误差的近似。
多逍遥subsample：采样⽐例，这⾥的采样和bagging的采样不是⼀个概念，这⾥的采样是指选取多少⽐例的数据集利⽤决策树基模型去boosting，默认是1.0，即在全量数据集上利⽤决策树去boosting。
warm_start:“暖启动”，默认值是Fal，即关闭状态，如果打开则表⽰，使⽤先前调试好的模型，在该模型的基础上继续boosting，如果关闭，则表⽰在样本集上从新训练⼀个新的基模型，且在该模型的基础上进⾏boosting。
属性/对象
feature_importance_：特征重要性。
蝎子爪
oob_improvement_：每⼀次迭代对应的loss提升量。oob_improvement_[0]表⽰第⼀次提升对应的loss提升量。人类群星闪耀时
淘宝网女装货到付款train_score_：表⽰在样本集上每次迭代以后的对应的损失函数值。早餐菜谱
loss_：损失函数。
estimators_：基分类器个数。
⽅法
apply(X)：将训练好的模型应⽤在数据集X上，并返回数据集X对应的叶指数。
decision_function(X)：返回决策函数值（⽐如svm中的决策距离）
fit(X,Y)：在数据集（X,Y）上训练模型。
get_parms()：获取模型参数
predict(X)：预测数据集X的结果。灵通英语
predict_log_proba(X)：预测数据集X的对数概率。
predict_proba(X)：预测数据集X的概率值。
score(X,Y)：输出数据集（X,Y）在模型上的准确率。
staged_decision_function(X)：返回每个基分类器的决策函数值
staged_predict(X)：返回每个基分类器的预测数据集X的结果。
staged_predict_proba(X)：返回每个基分类器的预测数据集X的概率结果。
