Python实现决策树并且使用Graphviz可视化的例子


Posted in Python onAugust 09, 2019

一、什么是决策树(decision tree)——机器学习中的一个重要的分类算法

决策树是一个类似于数据流程图的树结构:其中,每个内部节点表示一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或者类的分布,树的最顶层是根结点

根据天气情况决定出游与否的案例

Python实现决策树并且使用Graphviz可视化的例子

二、决策树算法构建

2.1决策树的核心思路

特征选择:从训练数据的特征中选择一个特征作为当前节点的分裂标准(特征选择的标准不同产生了不同的特征决策树算法)。

决策树生成:根据所选特征评估标准,从上至下递归地生成子节点,直到数据集不可分则停止决策树停止声场。

剪枝:决策树容易过拟合,需要剪枝来缩小树的结构和规模(包括预剪枝和后剪枝)。

2.2 熵的概念:度量信息的方式

实现决策树的算法包括ID3、C4.5算法等。常见的ID3核心思想是以信息增益度量属性选择,选择分裂后信息增益最大的属性进行分裂。

一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常不确定的事情,或者是我们一无所知的事情,需要大量的信息====>信息量的度量就等于不确定性的 多少。也就是说变量的不确定性越大,熵就越大

信息熵的计算公司

Python实现决策树并且使用Graphviz可视化的例子

S为所有事件集合,p为发生概率,c为特征总数。

信息增益(information gain)是指信息划分前后的熵的变化,也就是说由于使用这个属性分割样例而导致的期望熵降低。也就是说,信息增益就是原有信息熵与属性划分后信息熵(需要对划分后的信息熵取期望值)的差值,具体计算如下:

Python实现决策树并且使用Graphviz可视化的例子

其中,第二项为属性A对S划分的期望信息。

三、IDE3决策树的Python实现

以下面这个不同年龄段的人买电脑的情况为例子建模型算法

Python实现决策树并且使用Graphviz可视化的例子

'''
Created on 2018年7月5日
使用python内的科学计算的库实现利用决策树解决问题 
@author: lenovo
'''
#coding:utf-8
from sklearn.feature_extraction import DictVectorizer
#数据存储的格式 python自带不需要安装
import csv 
#预处理的包
from sklearn import preprocessing
from sklearn.externals.six import StringIO
from sklearn.tree import tree 
from sklearn.tree import export_graphviz
'''
文件保存格式需要是utf-8
window中的目录形式需要是左斜杠 F:/AA_BigData/test_data/test1.csv
excel表格存储成csv格式并且是utf-8格式的编码
'''
'''
决策树数据源读取
scklearn要求的数据类型 特征值属性必须是数值型的
需要对数据进行预处理
'''
#装特征的值
featureList=[] 
#装类别的词
labelList=[]
with open("F:/AA_BigData/test_data/decision_tree.csv", "r",encoding="utf-8") as csvfile:
 decision =csv.reader(csvfile)
 headers =[]
 row =1
 for item in decision:
 if row==1:
  row=row+1
  for head in item:
  headers.append(head)
 else:
  itemDict={}
  labelList.append(item[len(item)-1])
  for num in range(1,len(item)-1):
#  print(item[num])
  itemDict[headers[num]]=item[num]
  featureList.append(itemDict) 
print(headers)
print(labelList)
print(featureList)
'''
将原始数据转换成包含有字典的List
将建好的包含字典的list用DictVectorizer对象转换成0-1矩阵
'''
vec =DictVectorizer()
dumyX =vec.fit_transform(featureList).toarray();
#对于类别使用同样的方法
lb =preprocessing.LabelBinarizer()
dumyY=lb.fit_transform(labelList)
print(dumyY)
'''
 1.构建分类器——决策树模型
 2.使用数据训练决策树模型
'''
clf =tree.DecisionTreeClassifier(criterion="entropy")
clf.fit(dumyX,dumyY)
print(str(clf))
'''
1.将生成的分类器转换成dot格式的 数据
2.在命令行中dot -Tpdf iris.dot -o output.pdf将dot文件转换成pdf图的文件
'''
#视频上讲的不适用python3.5
with open("F:/AA_BigData/test_data/decisiontree.dot", "w") as wFile:
 export_graphviz(clf,out_file=wFile,feature_names=vec.get_feature_names())

Graphviz对决策树的可视化

Python实现决策树并且使用Graphviz可视化的例子

以上这篇Python实现决策树并且使用Graphviz可视化的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 文件操作api(文件操作函数)
Aug 28 Python
详解Python异常处理中的Finally else的功能
Dec 29 Python
python tensorflow基于cnn实现手写数字识别
Jan 01 Python
Python内建模块struct实例详解
Feb 02 Python
详解Python使用tensorflow入门指南
Feb 09 Python
Python 机器学习库 NumPy入门教程
Apr 19 Python
Django分页查询并返回jsons数据(中文乱码解决方法)
Aug 02 Python
python实现桌面壁纸切换功能
Jan 21 Python
在Django model中设置多个字段联合唯一约束的实例
Jul 17 Python
python+opencv实现车牌定位功能(实例代码)
Dec 24 Python
浅谈python之自动化运维(Paramiko)
Jan 31 Python
python文件读取失败怎么处理
Jun 23 Python
Django ORM 常用字段与不常用字段汇总
Aug 09 #Python
详解如何减少python内存的消耗
Aug 09 #Python
Django命名URL和反向解析URL实现解析
Aug 09 #Python
利用python list完成最简单的DB连接池方法
Aug 09 #Python
python使用requests.session模拟登录
Aug 09 #Python
如何在Cloud Studio上执行Python代码?
Aug 09 #Python
python切片(获取一个子列表(数组))详解
Aug 09 #Python
You might like
《被神捡到的男人》动画化计划进行中!
2020/03/06 日漫
laravel5使用freetds连接sql server的方法
2018/12/07 PHP
巧妙破除网页右键禁用的十大绝招
2006/08/12 Javascript
多个$(document).ready()的执行顺序实例分析
2014/07/26 Javascript
jQuery实现仿QQ在线客服效果的滚动层代码
2015/10/15 Javascript
JavaScript资源预加载组件和滑屏组件的使用推荐
2016/03/10 Javascript
浅谈Javascript中的12种DOM节点类型
2016/08/19 Javascript
JS实现类似百叶窗下拉菜单效果
2016/12/30 Javascript
javascript实现秒表计时器的制作方法
2017/02/16 Javascript
jquery获取select选中值的文本,并赋值给另一个输入框的方法
2018/08/21 jQuery
vue-cli3全面配置详解
2018/11/14 Javascript
node.js +mongdb实现登录功能
2020/06/18 Javascript
vue3使用vue-count-to组件的实现
2020/12/25 Vue.js
[50:38]DOTA2-DPC中国联赛 正赛 Phoenix vs CDEC BO3 第二场 3月7日
2021/03/11 DOTA
flask + pymysql操作Mysql数据库的实例
2017/11/13 Python
python版本的仿windows计划任务工具
2018/04/30 Python
Python使用pandas对数据进行差分运算的方法
2018/12/22 Python
Python3中lambda表达式与函数式编程讲解
2019/01/14 Python
Python操作Excel把数据分给sheet
2020/05/20 Python
python自定义函数def的应用详解
2020/06/03 Python
Python 利用OpenCV给照片换底色的示例代码
2020/08/03 Python
selenium学习教程之定位以及切换frame(iframe)
2021/01/04 Python
英国领先的男装设计师服装购物网站:Mainline Menswear
2018/02/04 全球购物
如何提高JDBC的性能
2013/04/30 面试题
土木工程实习生自我鉴定
2013/09/19 职场文书
英文版银行求职信
2013/10/09 职场文书
初中英语教学反思
2014/01/25 职场文书
法定授权委托证明书
2014/09/27 职场文书
2014年大学班长工作总结
2014/11/14 职场文书
2014年教育实习工作总结
2014/11/22 职场文书
仙境之桥观后感
2015/06/16 职场文书
2015初中团支部工作总结
2015/07/21 职场文书
干部考核工作总结
2015/08/12 职场文书
高三语文教学反思
2016/02/16 职场文书
人生哲理妙语30条:淡写流年,笑过人生
2019/09/04 职场文书
python四个坐标点对图片区域最小外接矩形进行裁剪
2021/06/04 Python