机器学习:决策树_Cart_回归

机器学习,决策树,Cart,回归。决策树可以解决分类问题,也可以处理回归问题。处理回归问题时,先对连续的特征进行排序,再计算相邻两个特征的中位数作为划分点,最后计算平方损失,选取损失小的特征作为叶子节点。平方损失计算公式:


例:

数据集特征排序。

相邻特征选取中位数作为划分点,并计算平方损失。

得到6.5作为分裂节点。

继续计算下一级分裂节点。

小于6.5样本,计算平方损失。

得到3.5作为下一级分裂节点。


平方损失计算,用上例数据第一个划分点为例:

第一个划分点。

另外9个算平均。

最后计算第一个划分点的平方损失。