XGboost的算法,他开源,并且容易实现,
这个是随机森林的算法,首先放回抽样,有一个新的数据集,然后构造新的决策树,
然后循环
循环一次
循环两次
循环三次
然后后面就不一样的,后面要刻意的练习,可以的抽取之前预测的不好的例子这样去构建决策树
就是刻意练习,抽取预测错的部分,然后反复练习这些小的部分,
之前是随机抽取一个小样本,然后构建树
这样循环几次之后,有一些数据预测的不对,就针对这些数据去构建决策树,针对性的训练
实现的方式有XGbost,他代表极端梯度提升,是一个非常快速且高效的提升树的开源实现,
而且还提供了良好的分割标准,和停止分割标准,
XGBOST的创新之处是内置了正则化,防止过拟合,
xGBOST为不同的训练样本分配了权重,因为他不需要生成大量的随机样本,
这使得他比采集替换样本更加的高效,