⼀开始树是0，然后往⾥⾯加数，相当于多了⼀个函数，再加第⼆棵树，相当于⼜多了⼀个函数...，这⾥需要保证加⼊新的函数能够提升整体的表达效果。提升表达效果的意思就是加上新的树之后，⽬标函数(就是损失)的值会下降。
2、树的复杂度
接下来定义树的复杂度，对于的定义做⼀下细化，把树拆分成结构函数q(输⼊x输出叶⼦结点索引)和叶⼦权重部分w(输⼊叶⼦结点索引输出
叶⼦结点分数)，结构函数q把输⼊映射到叶⼦的索引号上⾯去，⽽w给定了每个索引号对应的叶⼦分数是什么。
如果叶⼦结点的个数太多，那么过拟合的风险会越⼤，所以要限制叶⼦结点的个数，所以在原来⽬标函数⾥加上⼀个正则化惩罚项，我们来看⼀下如何计算，
梦见很多蛇>哄女人的话此时的⽬标函数就变成了，
3、泰勒展开求解⽬标函数
为了求解这个⽅程式，我们采⽤泰勒展开近似来定义⼀个近似的⽬标函数，专科录取分数线
马歇尔稳定度试验
我们发现真实值与上⼀轮的预测值之间的差值是⼀个常数项，这个常数项可以移除，就变成了
我们将q与j合并继续进⾏计算，
其中被定义为每个叶⼦上⾯样本集合(每个叶⼦结点⾥⾯样本集合)；等价于求出的值(每⼀个样本所在叶⼦索引的分数)；为叶⼦结点数量。定义(每个叶⼦结点⾥⾯⼀阶梯度的和)(每个叶⼦结点⾥⾯⼆阶梯度的和),柠檬水的作用
⽬标函数相应改变为，
求偏导，
我们将求出的带回到⽬标函数得到，
于树结构进⾏打分的函数。Obj计算⽰例，
4、定义树的结构
基于⽬标函数Obj，对结点进⾏分割，分别对左右⼦树求⽬标值，然后再对未分割之前的树结构进⾏求⽬标值，最后在所有特征离选择分割后，取Gain最⾼的那个特征。
三、案例分析
升旗手演讲稿
使⽤到的数据集最初来⾃国家糖尿病/消化/肾脏疾病研究所。数据集的⽬标是基于数据集中包含的某些诊断测量来诊断性的预测患者是否患有糖尿病。这⾥的所有患者都是Pima印第安⾄少21岁的⼥性，数据集由多个医学预测变量和⼀个⽬标变量组成Outcome。预测变量包括患者的怀孕次数、BMI、胰岛素⽔平、年龄等。
我们先来看⼀下sklearn包中关于Xgboost的API：
xgboost.XGBClassifier(max_depth=3, learning_rate=0.1, n_estimators=100, verbosity=1, silent=None, objective="binary:logistic", booster='gbtree', n_jobs=1, nthread=None, gamma=0, min_child_weight=1, max_delta_step=0, subsample=1, colsample_bytree=1, colsample_bylevel=1, colsample_bynode=1, reg_alpha=0,
拜寿祝福语
ps制作水印
