Python实现决策树并且使用Graphviz可视化的例子


Posted in Python onAugust 09, 2019

一、什么是决策树(decision tree)——机器学习中的一个重要的分类算法

决策树是一个类似于数据流程图的树结构:其中,每个内部节点表示一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或者类的分布,树的最顶层是根结点

根据天气情况决定出游与否的案例

Python实现决策树并且使用Graphviz可视化的例子

二、决策树算法构建

2.1决策树的核心思路

特征选择:从训练数据的特征中选择一个特征作为当前节点的分裂标准(特征选择的标准不同产生了不同的特征决策树算法)。

决策树生成:根据所选特征评估标准,从上至下递归地生成子节点,直到数据集不可分则停止决策树停止声场。

剪枝:决策树容易过拟合,需要剪枝来缩小树的结构和规模(包括预剪枝和后剪枝)。

2.2 熵的概念:度量信息的方式

实现决策树的算法包括ID3、C4.5算法等。常见的ID3核心思想是以信息增益度量属性选择,选择分裂后信息增益最大的属性进行分裂。

一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常不确定的事情,或者是我们一无所知的事情,需要大量的信息====>信息量的度量就等于不确定性的 多少。也就是说变量的不确定性越大,熵就越大

信息熵的计算公司

Python实现决策树并且使用Graphviz可视化的例子

S为所有事件集合,p为发生概率,c为特征总数。

信息增益(information gain)是指信息划分前后的熵的变化,也就是说由于使用这个属性分割样例而导致的期望熵降低。也就是说,信息增益就是原有信息熵与属性划分后信息熵(需要对划分后的信息熵取期望值)的差值,具体计算如下:

Python实现决策树并且使用Graphviz可视化的例子

其中,第二项为属性A对S划分的期望信息。

三、IDE3决策树的Python实现

以下面这个不同年龄段的人买电脑的情况为例子建模型算法

Python实现决策树并且使用Graphviz可视化的例子

'''
Created on 2018年7月5日
使用python内的科学计算的库实现利用决策树解决问题 
@author: lenovo
'''
#coding:utf-8
from sklearn.feature_extraction import DictVectorizer
#数据存储的格式 python自带不需要安装
import csv 
#预处理的包
from sklearn import preprocessing
from sklearn.externals.six import StringIO
from sklearn.tree import tree 
from sklearn.tree import export_graphviz
'''
文件保存格式需要是utf-8
window中的目录形式需要是左斜杠 F:/AA_BigData/test_data/test1.csv
excel表格存储成csv格式并且是utf-8格式的编码
'''
'''
决策树数据源读取
scklearn要求的数据类型 特征值属性必须是数值型的
需要对数据进行预处理
'''
#装特征的值
featureList=[] 
#装类别的词
labelList=[]
with open("F:/AA_BigData/test_data/decision_tree.csv", "r",encoding="utf-8") as csvfile:
 decision =csv.reader(csvfile)
 headers =[]
 row =1
 for item in decision:
 if row==1:
  row=row+1
  for head in item:
  headers.append(head)
 else:
  itemDict={}
  labelList.append(item[len(item)-1])
  for num in range(1,len(item)-1):
#  print(item[num])
  itemDict[headers[num]]=item[num]
  featureList.append(itemDict) 
print(headers)
print(labelList)
print(featureList)
'''
将原始数据转换成包含有字典的List
将建好的包含字典的list用DictVectorizer对象转换成0-1矩阵
'''
vec =DictVectorizer()
dumyX =vec.fit_transform(featureList).toarray();
#对于类别使用同样的方法
lb =preprocessing.LabelBinarizer()
dumyY=lb.fit_transform(labelList)
print(dumyY)
'''
 1.构建分类器——决策树模型
 2.使用数据训练决策树模型
'''
clf =tree.DecisionTreeClassifier(criterion="entropy")
clf.fit(dumyX,dumyY)
print(str(clf))
'''
1.将生成的分类器转换成dot格式的 数据
2.在命令行中dot -Tpdf iris.dot -o output.pdf将dot文件转换成pdf图的文件
'''
#视频上讲的不适用python3.5
with open("F:/AA_BigData/test_data/decisiontree.dot", "w") as wFile:
 export_graphviz(clf,out_file=wFile,feature_names=vec.get_feature_names())

Graphviz对决策树的可视化

Python实现决策树并且使用Graphviz可视化的例子

以上这篇Python实现决策树并且使用Graphviz可视化的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
将Python的Django框架与认证系统整合的方法
Jul 24 Python
Python for Informatics 第11章之正则表达式(四)
Apr 21 Python
Python深度优先算法生成迷宫
Jan 22 Python
基于python中theano库的线性回归
Aug 31 Python
Django ManyToManyField 跨越中间表查询的方法
Dec 18 Python
Python使用POP3和SMTP协议收发邮件的示例代码
Apr 16 Python
浅析Python3中的对象垃圾收集机制
Jun 06 Python
10分钟教你用python动画演示深度优先算法搜寻逃出迷宫的路径
Aug 12 Python
在Python3 numpy中mean和average的区别详解
Aug 24 Python
TensorFlow实现保存训练模型为pd文件并恢复
Feb 06 Python
详解python中groupby函数通俗易懂
May 14 Python
Django模板报TemplateDoesNotExist异常(亲测可行)
Dec 18 Python
Django ORM 常用字段与不常用字段汇总
Aug 09 #Python
详解如何减少python内存的消耗
Aug 09 #Python
Django命名URL和反向解析URL实现解析
Aug 09 #Python
利用python list完成最简单的DB连接池方法
Aug 09 #Python
python使用requests.session模拟登录
Aug 09 #Python
如何在Cloud Studio上执行Python代码?
Aug 09 #Python
python切片(获取一个子列表(数组))详解
Aug 09 #Python
You might like
php下通过POST还是GET来传值
2008/06/05 PHP
php 删除数组元素
2009/01/16 PHP
解析如何在PHP下载文件名中解决乱码的问题
2013/06/20 PHP
PHP模拟post提交数据方法汇总
2016/02/16 PHP
thinkphp中多表查询中防止数据重复的sql语句(必看)
2016/09/22 PHP
Yii CDBCriteria常用方法实例小结
2017/01/19 PHP
PHP后台备份MySQL数据库的源码实例
2019/03/18 PHP
PHP获取当前时间不准确问题解决方案
2020/08/14 PHP
限制复选框的最大可选数
2006/07/01 Javascript
jquery实现可点击伸缩与展开的菜单效果代码
2015/08/31 Javascript
Easyui form combobox省市区三级联动
2016/01/13 Javascript
老生常谈combobox和combotree模糊查询
2017/04/17 Javascript
Vue.js框架路由使用方法实例详解
2017/08/25 Javascript
javascript按钮禁用和启用的效果实例代码
2017/10/29 Javascript
解决LayUI表单获取不到data的问题
2018/08/20 Javascript
微信小程序搭建自己的Https服务器
2019/05/02 Javascript
JavaScript动态检测密码强度原理及实现方法详解
2019/06/11 Javascript
[03:27]《辉夜杯》线下训练营 导师CU和海涛指点迷津
2015/10/23 DOTA
解决Scrapy安装错误:Microsoft Visual C++ 14.0 is required...
2017/10/01 Python
Python双向循环链表实现方法分析
2018/07/30 Python
查看python安装路径及pip安装的包列表及路径
2019/04/03 Python
基于Python函数和变量名解析
2019/07/19 Python
Python scrapy增量爬取实例及实现过程解析
2019/12/24 Python
在Pytorch中计算自己模型的FLOPs方式
2019/12/30 Python
Python SQLAlchemy库的使用方法
2020/10/13 Python
python3中编码获取网页的实例方法
2020/11/16 Python
HTML5中在title标题标签里设置小图标的方法
2020/06/23 HTML / CSS
大四毕业生学习总结的自我评价
2013/10/31 职场文书
酒店销售经理岗位职责
2014/01/31 职场文书
奥利奥广告词
2014/03/20 职场文书
2015年教师节新闻稿
2015/07/17 职场文书
《水上飞机》教学反思
2016/02/20 职场文书
HR在给员工开具离职证明时,需要注意哪些问题?
2019/07/03 职场文书
2019年“红色之旅”心得体会1000字(3篇)
2019/09/27 职场文书
导游词之藏龙百瀑景区
2019/12/30 职场文书
浅谈Python中的正则表达式
2021/06/28 Python