(资料图片)

基本步骤:从左到右顺序画一个决策树,这是一个决策问题的重新分析过程。从右到左计算每个方案的期望值,并将结果写在对应的方案节点上方。的期望值是沿着决策树的相反方向从右到左计算的。比较各方案的期望值,砍掉期望值低的方案(即次优方案),留下最后一个方案作为最佳方案。

特征选择:特征选择决定了使用哪些特征进行判断。在训练数据集中,每个样本可能有很多属性,不同的属性有不同的作用。因此,特征选择的作用就是筛选出与分类结果相关性高的特征,即分类能力强的特征。特征选择常用的准则是:信息增益。

决策树的生成:选择一个特征后,从根节点触发,为每个节点计算所有特征的信息增益,选择信息增益最大的特征作为节点特征,根据该特征的不同值建立子节点;对每个子节点使用相同的方法来生成新的子节点,直到信息增益很小或者没有特征可供选择。

决策树的剪枝:剪枝的主要目的是通过主动去除部分分支来对抗“过拟合”,降低过拟合的风险。

决策树方法的优点:

1.决策树列出了决策问题的所有可行解和各种可能的自然状态,以及各种状态下每个可行方法的期望值。

2.可以直观地展示整个决策问题在不同阶段的时间和决策顺序的决策过程。

3.应用于复杂的多阶段决策时,阶段明显,层次清晰,便于决策主体集体研究,能够慎重考虑各种因素,有利于做出正确决策。

推荐内容