机器学习,集成学习,XGBoost。XGBoost在梯度提升树的基础上,加入正则化项优化树结构,降低决策树复杂度。
公式:
构建决策树是否分枝的指标:
公式计算结果是节点输出,类似于梯度提升树输出越小越好。节点有2个分枝,或者不分枝,gain等于不分枝减去2个分枝之和:结果大于0时分枝,结果小于0不分枝。
梯度提升树