决策树与随机森林

阅读量    76917 | 评论 1

分享到: QQ空间 新浪微博 微信 QQ facebook twitter

 

0x01 决策树概述

决策树是一种用于分类和回归的模型,是一种有监督的机器学习算法,可用于分类和回归问题。树回答连续的问题,这些问题使我们在给出答案的情况下沿着树的某个路线前进。

当构建决策树时,我们知道变量使用哪个变量和哪个值来拆分数据,从而快速预测结果。

决策树优点

  1. 易于解释并实现直观的可视化
  2. 内部运作可以被观察,从而使复制工作成为可能
  3. 可以快速适应数据集
  4. 可以处理数值和分类数据
  5. 可以使用“树”图有序地查看和解释最终模型
  6. 在大型数据集上表现良好
  7. 速度极快

决策树缺点

  1. 构建决策树需要能够确定每个节点的最佳选择的算法
  2. 决策树容易过度拟合,尤其是当树特别深时

 

0x02 随机森林概述

森林具有与决策树几乎相同的超参数,通常来说,一棵树没法得到有效的以及希望得到的结果,这时候就需要用到随机森林的概念,随机森林是一种用于分类、回归和其他任务的集成学习方法。

随机森林可以理解成一组决策树,是将很多决策最终聚合成一个结果,通过在训练时构建大量决策树来进行操作,是一种基于树的机器学习算法,它利用多个决策树的力量进行决策。

在构建随机森林算法模型时,我们必须定义要制作多少棵树以及每个节点需要多少个变量。

1995 年, Tin Kam Ho 使用随机子空间方法创建了第一个随机决策森林算法,在 Ho 的公式中,这是一种实现随机判别”分类方法的方法。

随机森林减少方差的方法:

  1. 对不同的数据样本进行训练
  2. 使用随机的特征子集

随机森林优点

  1. 随机决策森林纠正了决策树的过度拟合
  2. 随机森林通常优于决策树,但它们的准确性低于梯度提升树
  3. 更多的树会提高性能并使预测更稳定

随机森林缺点

  1. 随机森林算法模型更复杂,因为是决策树的组合
  2. 更多的树会降低计算速度

 

0x03 决策树与随机森林的区别

随机森林算法和决策树之间的关键区别在于,决策树是使用分支方法说明决策的所有可能结果的图。相比之下,随机森林算法的输出是一组根据输出工作的决策树。

决策树相对于决策森林,模型更好搭建,对于随机森林来说,最终模型可视化程度较差,如果数据量太大或者没有合适的处理方法去处理数据,就会导致需要很长的时间才能创建。

决策树总是存在过度拟合的空间;随机森林算法通过使用多棵树来避免和防止过拟合。

决策树需要低计算量,从而减少了实现时间并且精度低;随机森林会消耗更多的计算量。生成和分析的过程非常耗时。

决策树可以很容易实现可视化;随机森林可视化复杂。

 

0x04 修建

修剪是进一步切碎这些树枝。它作为一种分类来以更好的方式补贴数据。就像我们说修剪多余部分的方式一样,它的工作原理是一样的。

到达叶节点,修剪结束。它是决策树中非常重要的一部分。

 

0x05 总结

与随机森林相比,决策树非常容易。决策树组合了一些决策,而随机森林组合了几个决策树。

决策树在大型数据集上运行速度快且易于操作。随机森林模型需要严格的训练,大量的随机森林,更多的时间。

分享到: QQ空间 新浪微博 微信 QQ facebook twitter
|推荐阅读
|发表评论
|评论列表
加载更多