Python决策树之基于信息增益的特征选择示例


Posted in Python onJune 25, 2018

本文实例讲述了Python决策树之基于信息增益的特征选择。分享给大家供大家参考,具体如下:

基于信息增益的特征选取是一种广泛使用在决策树(decision tree)分类算法中用到的特征选取。该特征选择的方法是通过计算每个特征值划分数据集获得信息增益,通过比较信息增益的大小选取合适的特征值。

一、定义

1.1 熵

信息的期望值,可理解为数据集的无序度,熵的值越大,表示数据越无序,公式如下:

Python决策树之基于信息增益的特征选择示例

其中H表示该数据集的熵值, pi表示类别i的概率, 若所有数据集只有一个类别,那么pi=1H=0。因此H=0为熵的最小值,表示该数据集完全有序。

1.2 信息增益

熵的减少或者是数据无序度的减少。

二、流程

1、计算原始数据的信息熵H1

2、选取一个特征,根据特征值对数据进行分类,再对每个类别分别计算信息熵,按比例求和,得出这种划分方式的信息熵H2

3、计算信息增益:

infoGain = H1 - H2

4、根据2,3计算所有特征属性对应的信息增益,保留信息增益较大的特征属性。

三、实例

海洋生物数据

被分类项\特征 不浮出水面是否可以生存 是否有脚蹼 属于鱼类
1
2
3
4
5

3.1 原始数据信息熵

p(是鱼类) = p1 =0.4
p(非鱼类) = p2 =0.6

通过信息熵公式可得原始数据信息熵 H1 = 0.97095

3.2 根据特征分类计算信息熵

选择'不服出水面是否可以生存'作为分析的特征属性

可将数据集分为[1,2,3]与[4,5],分别占0.6和0.4。

[1,2,3]可计算该类数据信息熵为 h1=0.918295834054

[4,5] 可计算该类数据信息熵为 h2=0

计算划分后的信息熵 H2 = 0.6 * h1 + 0.4 * h2 = 0.550977500433

3.3 计算信息增益

infoGain_0 = H1-H2 = 0.419973094022

3.4 特征选择

同理可得对特征'是否有脚蹼'该特征计算信息增益 infoGain_1 = 0.170950594455

比较可得,'不服出水面是否可以生存'所得的信息增益更大,因此在该实例中,该特征是最好用于划分数据集的特征

四、代码

# -*- coding:utf-8 -*-
#! python2
import numpy as np
from math import log
data_feature_matrix = np.array([[1, 1],
                [1, 1],
                [1, 0],
                [0, 1],
                [0, 1]]) # 特征矩阵
category = ['yes', 'yes', 'no', 'no', 'no'] # 5个对象分别所属的类别
def calc_shannon_ent(category_list):
  """
  :param category_list: 类别列表
  :return: 该类别列表的熵值
  """
  label_count = {} # 统计数据集中每个类别的个数
  num = len(category_list) # 数据集个数
  for i in range(num):
    try:
      label_count[category_list[i]] += 1
    except KeyError:
      label_count[category_list[i]] = 1
  shannon_ent = 0.
  for k in label_count:
    prob = float(label_count[k]) / num
    shannon_ent -= prob * log(prob, 2) # 计算信息熵
  return shannon_ent
def split_data(feature_matrix, category_list, feature_index, value):
  """
  筛选出指定特征值所对应的类别列表
  :param category_list: 类别列表
  :param feature_matrix: 特征矩阵
  :param feature_index: 指定特征索引
  :param value: 指定特征属性的特征值
  :return: 符合指定特征属性的特征值的类别列表
  """
  # feature_matrix = np.array(feature_matrix)
  ret_index = np.where(feature_matrix[:, feature_index] == value)[0] # 获取符合指定特征值的索引
  ret_category_list = [category_list[i] for i in ret_index] # 根据索引取得指定的所属类别,构建为列表
  return ret_category_list
def choose_best_feature(feature_matrix, category_list):
  """
  根据信息增益获取最优特征
  :param feature_matrix: 特征矩阵
  :param category_list: 类别列表
  :return: 最优特征对应的索引
  """
  feature_num = len(feature_matrix[0]) # 特征个数
  data_num = len(category_list) # 数据集的个数
  base_shannon_ent = calc_shannon_ent(category_list=category_list) # 原始数据的信息熵
  best_info_gain = 0 # 最优信息增益
  best_feature_index = -1 # 最优特征对应的索引
  for f in range(feature_num):
    uni_value_list = set(feature_matrix[:, f]) # 该特征属性所包含的特征值
    new_shannon_ent = 0.
    for value in uni_value_list:
      sub_cate_list = split_data(feature_matrix=feature_matrix, category_list=category_list, feature_index=f, value=value)
      prob = float(len(sub_cate_list)) / data_num
      new_shannon_ent += prob * calc_shannon_ent(sub_cate_list)
    info_gain = base_shannon_ent - new_shannon_ent # 信息增益
    print '初始信息熵为:', base_shannon_ent, '按照特征%i分类后的信息熵为:' % f, new_shannon_ent, '信息增益为:', info_gain
    if info_gain > best_info_gain:
      best_info_gain = info_gain
      best_feature_index = f
  return best_feature_index
if __name__ == '__main__':
  best_feature = choose_best_feature(data_feature_matrix, category)
  print '最好用于划分数据集的特征为:', best_feature

运行结果:

初始信息熵为: 0.970950594455 按照特征0分类后的信息熵为: 0.550977500433 信息增益为: 0.419973094022
初始信息熵为: 0.970950594455 按照特征1分类后的信息熵为: 0.8 信息增益为: 0.170950594455
最好用于划分数据集的特征为: 0

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
用Python生成器实现微线程编程的教程
Apr 13 Python
在Python中用split()方法分割字符串的使用介绍
May 20 Python
Python如何为图片添加水印
Nov 25 Python
django文档学习之applications使用详解
Jan 29 Python
Tensorflow 训练自己的数据集将数据直接导入到内存
Jun 19 Python
python 遍历列表提取下标和值的实例
Dec 25 Python
在Pandas中处理NaN值的方法
Jun 25 Python
python读取指定字节长度的文本方法
Aug 27 Python
浅谈pycharm使用及设置方法
Sep 09 Python
python GUI库图形界面开发之PyQt5表单布局控件QFormLayout详细使用方法与实例
Mar 06 Python
在matplotlib中改变figure的布局和大小实例
Apr 23 Python
Python入门之基础语法详解
May 11 Python
python实现逆序输出一个数字的示例讲解
Jun 25 #Python
详解Python 数据库的Connection、Cursor两大对象
Jun 25 #Python
python逆序打印各位数字的方法
Jun 25 #Python
python爬虫的数据库连接问题【推荐】
Jun 25 #Python
python让列表倒序输出的实例
Jun 25 #Python
python实现将一个数组逆序输出的方法
Jun 25 #Python
Python机器学习库scikit-learn安装与基本使用教程
Jun 25 #Python
You might like
《PHP边学边教》(02.Apache+PHP环境配置――上篇)
2006/12/13 PHP
header中Content-Disposition的作用与使用方法
2012/06/13 PHP
PHP伪静态Rewrite设置之APACHE篇
2014/07/30 PHP
PHP+redis实现的限制抢购防止商品超发功能详解
2019/09/19 PHP
Jquery cookie操作代码
2010/03/14 Javascript
javascript 获取网页标题代码实例
2014/01/22 Javascript
关于onchange事件在IE和FF下的表现及解决方法
2014/03/08 Javascript
window.location的重写及判断location是否被重写
2014/09/04 Javascript
jQuery实现新消息闪烁标题提示的方法
2015/03/11 Javascript
浅谈利用JavaScript进行的DDoS攻击原理与防御
2015/06/04 Javascript
浅谈setTimeout 与 setInterval
2015/06/23 Javascript
Angular中点击li标签实现更改颜色的核心代码
2017/12/08 Javascript
将Sublime Text 3 添加到右键中的简单方法
2017/12/12 Javascript
Vue 中使用 CSS Modules优雅方法
2018/04/09 Javascript
微信小程序实现长按删除图片的示例
2018/05/18 Javascript
微信小程序使用 vant Dialog组件的正确方式
2020/02/21 Javascript
Python函数嵌套实例
2014/09/23 Python
kNN算法python实现和简单数字识别的方法
2014/11/18 Python
Python实现删除当前目录下除当前脚本以外的文件和文件夹实例
2015/07/27 Python
探秘TensorFlow 和 NumPy 的 Broadcasting 机制
2020/03/13 Python
使用python接受tgam的脑波数据实例
2020/04/09 Python
Python实现快速大文件比较代码解析
2020/09/04 Python
Python爬虫回测股票的实例讲解
2021/01/22 Python
Stuart Weitzman欧盟:美国奢华鞋履品牌
2017/05/24 全球购物
泰国健康和美容服务预订网站:GoWabi
2019/06/03 全球购物
Napapijri西班牙在线商店:夹克、外套、运动衫等
2020/11/05 全球购物
英国马莎百货印度官网:Marks & Spencer印度
2020/10/08 全球购物
《只有一个地球》教学反思
2014/02/14 职场文书
竞聘书怎么写,如何写?
2014/03/31 职场文书
财务会计专业求职信
2014/06/09 职场文书
学校领导班子对照检查材料
2014/08/28 职场文书
2014年统战工作总结
2014/12/09 职场文书
复兴之路观后感3000字
2015/06/02 职场文书
社区志愿服务活动感想
2015/08/07 职场文书
MySQL 数据类型选择原则
2021/05/27 MySQL
Python图片检索之以图搜图
2021/05/31 Python