python实现决策树分类算法


Posted in Python onDecember 21, 2017

本文实例为大家分享了python实现决策树分类算法的具体代码,供大家参考,具体内容如下

1、概述

决策树(decision tree)——是一种被广泛使用的分类算法。

相比贝叶斯算法,决策树的优势在于构造过程不需要任何领域知识或参数设置

在实际应用中,对于探测式的知识发现,决策树更加适用。

2、算法思想

通俗来说,决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:

      女儿:多大年纪了?

      母亲:26。

      女儿:长的帅不帅?

      母亲:挺帅的。

      女儿:收入高不?

      母亲:不算很高,中等情况。

      女儿:是公务员不?

      母亲:是,在税务局上班呢。

      女儿:那好,我去见见。 

这个女孩的决策过程就是典型的分类树决策。

实质:通过年龄、长相、收入和是否公务员对将男人分为两个类别:见和不见

假设这个女孩对男人的要求是:30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员,那么这个可以用下图表示女孩的决策逻辑

python实现决策树分类算法

上图完整表达了这个女孩决定是否见一个约会对象的策略,其中:

◊绿色节点表示判断条件

◊橙色节点表示决策结果

◊箭头表示在一个判断条件在不同情况下的决策路径

图中红色箭头表示了上面例子中女孩的决策过程。 

这幅图基本可以算是一颗决策树,说它“基本可以算”是因为图中的判定条件没有量化,如收入高中低等等,还不能算是严格意义上的决策树,如果将所有条件量化,则就变成真正的决策树了。 

决策树分类算法的关键就是根据“先验数据”构造一棵最佳的决策树,用以预测未知数据的类别 

决策树:是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。

3、决策树构造

假如有以下判断苹果好坏的数据样本:

样本    红     大      好苹果

0         1      1         1

1         1      0         1

2         0      1         0

3         0      0         0

样本中有2个属性,A0表示是否红苹果。A1表示是否大苹果。假如要根据这个数据样本构建一棵自动判断苹果好坏的决策树。

由于本例中的数据只有2个属性,因此,我们可以穷举所有可能构造出来的决策树,就2棵,如下图所示:

python实现决策树分类算法

显然左边先使用A0(红色)做划分依据的决策树要优于右边用A1(大小)做划分依据的决策树。

当然这是直觉的认知。而直觉显然不适合转化成程序的实现,所以需要有一种定量的考察来评价这两棵树的性能好坏。

决策树的评价所用的定量考察方法为计算每种划分情况的信息熵增益

如果经过某个选定的属性进行数据划分后的信息熵下降最多,则这个划分属性是最优选择 

属性划分选择(即构造决策树)的依据:

简单来说,熵就是“无序,混乱”的程度。

通过计算来理解:

1、原始样本数据的熵:

样例总数:4

好苹果:2

坏苹果:2

熵: -(1/2 * log(1/2) + 1/2 * log(1/2)) = 1

信息熵为1表示当前处于最混乱,最无序的状态。

2、两颗决策树的划分结果熵增益计算

树1先选A0作划分,各子节点信息熵计算如下:

0,1叶子节点有2个正例,0个负例。信息熵为:e1 = -(2/2 * log(2/2) + 0/2 * log(0/2)) = 0。

2,3叶子节点有0个正例,2个负例。信息熵为:e2 = -(0/2 * log(0/2) + 2/2 * log(2/2)) = 0。

因此选择A0划分后的信息熵为每个子节点的信息熵所占比重的加权和:E = e1*2/4 + e2*2/4 = 0。

选择A0做划分的信息熵增益G(S, A0)=S - E = 1 - 0 = 1.

事实上,决策树叶子节点表示已经都属于相同类别,因此信息熵一定为0。 

树2先选A1作划分,各子节点信息熵计算如下:

0,2子节点有1个正例,1个负例。信息熵为:e1 = -(1/2 * log(1/2) + 1/2 * log(1/2)) = 1。

1,3子节点有1个正例,1个负例。信息熵为:e2 = -(1/2 * log(1/2) + 1/2 * log(1/2)) = 1。

因此选择A1划分后的信息熵为每个子节点的信息熵所占比重的加权和:E = e1*2/4 + e2*2/4 = 1。也就是说分了跟没分一样!

选择A1做划分的信息熵增益G(S, A1)=S - E = 1 - 1 = 0. 

因此,每次划分之前,我们只需要计算出信息熵增益最大的那种划分即可。

先做A0划分时的信息熵增益为1>先做A1划分时的信息熵增益,所以先做A0划分是最优选择!!!

4、算法指导思想

经过决策属性的划分后,数据的无序度越来越低,也就是信息熵越来越小 

5、算法实现

梳理出数据中的属性

比较按照某特定属性划分后的数据的信息熵增益,选择信息熵增益最大的那个属性作为第一划分依据,然后继续选择第二属性,以此类推

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Java编程迭代地删除文件夹及其下的所有文件实例
Feb 10 Python
python3.6使用pymysql连接Mysql数据库
May 25 Python
Python基于xlrd模块操作Excel的方法示例
Jun 21 Python
python 按不同维度求和,最值,均值的实例
Jun 28 Python
Python中安装easy_install的方法
Nov 18 Python
python 与服务器的共享文件夹交互方法
Dec 27 Python
对Django项目中的ORM映射与模糊查询的使用详解
Jul 18 Python
Django连接数据库并实现读写分离过程解析
Nov 13 Python
基于python实现操作git过程代码解析
Jul 27 Python
Python OpenCV中的numpy与图像类型转换操作
Dec 11 Python
python爬取某网站原图作为壁纸
Jun 02 Python
Python语言中的数据类型-序列
Feb 24 Python
Python语言描述机器学习之Logistic回归算法
Dec 21 #Python
python Crypto模块的安装与使用方法
Dec 21 #Python
python编写Logistic逻辑回归
Dec 30 #Python
python+selenium识别验证码并登录的示例代码
Dec 21 #Python
python实现随机森林random forest的原理及方法
Dec 21 #Python
python编写分类决策树的代码
Dec 21 #Python
Python基于PyGraphics包实现图片截取功能的方法
Dec 21 #Python
You might like
JAVA/JSP学习系列之二
2006/10/09 PHP
PHP url 加密解密函数代码
2011/08/26 PHP
php绘制一个矩形的方法
2015/01/24 PHP
PHP+MYSQL实现读写分离简单实战
2017/03/13 PHP
PHP const定义常量及global定义全局常量实例解析
2020/05/28 PHP
Thinkphp极验滑动验证码实现步骤解析
2020/11/24 PHP
对google个性主页的拖拽效果的js的完整注释[转]
2007/04/10 Javascript
利用javascript解决图片缩放及其优化的代码
2012/05/23 Javascript
TextArea设置MaxLength属性最大输入值的js代码
2012/12/21 Javascript
jquery实现智能感知连接外网搜索
2013/05/21 Javascript
FF IE浏览器修改标签透明度的方法
2014/01/27 Javascript
JavaScript中的document.referrer在各种浏览器测试结果
2014/07/18 Javascript
CSS3,HTML5和jQuery搜索框集锦
2014/12/02 Javascript
JavaScript必知必会(九)function 说起 闭包问题
2016/06/08 Javascript
nodejs微信公众号支付开发
2016/09/19 NodeJs
微信小程序自定义导航隐藏和显示功能
2017/06/13 Javascript
JavaScript hasOwnProperty() 函数实例详解
2017/08/04 Javascript
详解ES6之async+await 同步/异步方案
2017/09/19 Javascript
jquery.pagination.js分页使用教程
2018/10/23 jQuery
vue+SSM实现验证码功能
2018/12/07 Javascript
原生js实现商品筛选功能
2019/10/28 Javascript
解决VUE双向绑定失效的问题
2019/10/29 Javascript
VUE单页面切换动画代码(全网最好的切换效果)
2019/10/31 Javascript
[51:29]Alliance vs TNC 2019国际邀请赛小组赛 BO2 第二场 8.16
2019/08/18 DOTA
详解Python中的条件判断语句
2015/05/14 Python
Python3爬楼梯算法示例
2019/03/04 Python
python3.5安装python3-tk详解
2019/04/26 Python
Python 进程操作之进程间通过队列共享数据,队列Queue简单示例
2019/10/11 Python
基于python代码批量处理图片resize
2020/06/04 Python
降低python版本的操作方法
2020/09/11 Python
通信工程毕业生自荐信
2013/11/01 职场文书
总经理工作职责范文
2014/03/14 职场文书
汽车技术服务与贸易专业求职信
2014/07/20 职场文书
班主任先进事迹材料
2014/12/17 职场文书
新学期家长寄语2016
2015/12/03 职场文书
基于Pygame实现简单的贪吃蛇游戏
2021/12/06 Python