决策树学习过程

构建决策树的整体过程中我们都需要做什么第一步就是我们首先确定根节点的特征然后根据根节点的特征吧样本分成两块然后针对左边的或者是右边的继续去分第一个关键决策 就是我们如何确定每一个节点的特征是什么呢因为在根节点以及决策树的左分支和右分支我们必须几点如果该节点有少数的例子包含猫狗混合我们是根据脸型耳朵还是胡须去分割我们会在下个类型看到决策树会选择哪一个特征进行分类以尝试最大化纯度纯度就是尽可能做到分的全是猫或者非猫的子集例如如果我们有一个特征他问这个动物有猫的DNA吗我们实际上没有这个特征如果我们有我们可以在根节点上进行分裂这将导致左侧分支全是猫右边全部不是猫这两个分支全部都是纯的这意味着每个分支都有一个类别要么全是猫要么不是猫因为猫的DNA这是一个非常好的特征但是基于我们实际的我们只能根据脸型耳性胡须他们都会得到纯度不一样的左右分支因此决策树必须在这些特征之中进行选择哪一个特征的纯度最高因此我们首先要决定在节点上选择最纯的特征构建决策树的第二个特征是什么时候停止这个就要制定数最大的深度防止树太大难以管理通过保持树小不太容易过拟合另一个可以决定停止分裂的标准纯度分数的改进低于某个阈值如果一个节点分类导致纯度很小的改进或者是降低了纯度如果某个节点的例子低于某个阈值也可以停止分裂防止规模较小导致过拟合