Python读取数据集并消除数据中的空行方法


Posted in Python onJuly 12, 2018

如下所示:

# -*- coding: utf-8 -*-
# @ author hulei 2016-5-3
from numpy import *
import operator
from os import listdir
 
import sys
reload(sys)
sys.setdefaultencoding('utf8')
 
# x,y=getDataSet_dz('iris.data.txt',4)
 
def getDataSet(filename,numberOfFeature):  #将数据集读入内存 
 fr = open(filename)
 numberOfLines = len(fr.readlines())   #get the number of lines in the file file.readlines()是把文件的全部内容读到内存,并解析成一个list
 returnMat = zeros((numberOfLines,numberOfFeature))  #prepare matrix to return 3代表数据集中特征数目###
 classLabelVector = []      #prepare labels return 
 fr = open(filename)
 index = 0
 for line in fr.readlines():
  line = line.strip()     #strip() 参数为空时,默认删除空白符(包括'\n', '\r', '\t', ' ')
  listFromLine = line.split(',')   #split 以什么为标准分割一次 分成数组中的每个元素
  returnMat[index,:] = listFromLine[0:numberOfFeature] 
  #classLabelVector.append(int(listFromLine[-1])) #append() 方法向列表的尾部添加一个新的元素
  if listFromLine[-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif listFromLine[-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
  index += 1
 return returnMat,classLabelVector
 
def getDataSet_dz(filename,numberOfFeature): #改进版,可以消除数据中的空白行
 numberOfLines = 0
 mx = []  #将数据集 去除空行后存入
 fr = open(filename)
 for line in fr.readlines():  
  line = line.strip() 
  if line != '' : #去除空白行 
   numberOfLines+=1
   mx.append( line.split(',') )
 returnMat = zeros((numberOfLines,numberOfFeature))
 classLabelVector = [] 
 for index in range(numberOfLines) :
  returnMat[index,:] = mx[index][0:numberOfFeature] 
  if mx[index][-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif mx[index][-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
 return returnMat,classLabelVector

以上这篇Python读取数据集并消除数据中的空行方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python入门学习之字符串与比较运算符
Oct 12 Python
Python中MySQL数据迁移到MongoDB脚本的方法
Apr 28 Python
Python ldap实现登录实例代码
Sep 30 Python
Python多线程实现同步的四种方式
May 02 Python
基于python元祖与字典与集合的粗浅认识
Aug 23 Python
django文档学习之applications使用详解
Jan 29 Python
使用django-crontab实现定时任务的示例
Feb 26 Python
python实现list由于numpy array的转换
Apr 04 Python
DataFrame中去除指定列为空的行方法
Apr 08 Python
Django 项目重命名的实现步骤解析
Aug 14 Python
python读取图像矩阵文件并转换为向量实例
Jun 18 Python
python中Pyqt5使用Qlabel标签播放视频
Apr 22 Python
Python实现曲线拟合操作示例【基于numpy,scipy,matplotlib库】
Jul 12 #Python
python跳过第一行快速读取文件内容的实例
Jul 12 #Python
python 读取文本文件的行数据,文件.splitlines()的方法
Jul 12 #Python
Python实现的简单读写csv文件操作示例
Jul 12 #Python
用Python分析3天破10亿的《我不是药神》到底神在哪?
Jul 12 #Python
python之文件读取一行一行的方法
Jul 12 #Python
python 读取文件并替换字段的实例
Jul 12 #Python
You might like
php生成文件
2007/01/15 PHP
PHP实现多条件查询实例代码
2010/07/17 PHP
Linux Apache PHP Oracle 安装配置(具体操作步骤)
2013/06/17 PHP
C#静态方法与非静态方法实例分析
2014/09/22 PHP
php+mysql数据库查询实例
2015/01/21 PHP
php记录搜索引擎爬行记录的实现代码
2018/03/02 PHP
php设计模式之观察者模式实例详解【星际争霸游戏案例】
2020/03/30 PHP
Mootools 图片展示插件(lightbox,ImageMenu)收集集合
2010/05/21 Javascript
js Function类型
2011/12/04 Javascript
js与jquery获取父级元素,子级元素,兄弟元素的实现方法
2014/01/09 Javascript
jquery插件开发之实现google+圈子选择功能
2014/03/10 Javascript
jQuery中$.ajax()和$.getJson()同步处理详解
2015/08/12 Javascript
jQuery实现进度条效果代码
2015/12/17 Javascript
JavaScript结合Bootstrap仿微信后台多图文界面管理
2016/07/22 Javascript
js封装tab标签页实例分享
2016/12/19 Javascript
Bootstrap select下拉联动(jQuery cxselect)
2017/01/04 Javascript
ajax与json 获取数据并在前台使用简单实例
2017/01/19 Javascript
vue+element-ui动态生成多级表头的方法
2018/08/28 Javascript
利用chrome浏览器进行js调试并找出元素绑定的点击事件详解
2021/01/30 Javascript
Vue中插入HTML代码的方法
2018/09/21 Javascript
基于Element的组件改造的树形选择器(树形下拉框)
2020/02/27 Javascript
jQuery实现简单弹幕制作
2020/12/10 jQuery
wxPython中文教程入门实例
2014/06/09 Python
python标准算法实现数组全排列的方法
2015/03/17 Python
Python解惑之整数比较详解
2017/04/24 Python
python输出电脑上所有的串口名的方法
2019/07/02 Python
树莓派安装OpenCV3完整过程的实现
2019/10/10 Python
Pycharm修改python路径过程图解
2020/05/22 Python
Autopep8的使用(python自动编排工具)
2021/03/02 Python
AmazeUI 导航条的实现示例
2020/08/14 HTML / CSS
2014年上半年工作自我评价
2014/01/18 职场文书
股东授权委托书范本
2014/09/13 职场文书
药品销售内勤岗位职责
2015/04/13 职场文书
驳回起诉裁定书
2015/05/19 职场文书
Python打包exe时各种异常处理方案总结
2021/05/18 Python
解决Swagger2返回map复杂结构不能解析的问题
2021/07/02 Java/Android