Python读取数据集并消除数据中的空行方法


Posted in Python onJuly 12, 2018

如下所示:

# -*- coding: utf-8 -*-
# @ author hulei 2016-5-3
from numpy import *
import operator
from os import listdir
 
import sys
reload(sys)
sys.setdefaultencoding('utf8')
 
# x,y=getDataSet_dz('iris.data.txt',4)
 
def getDataSet(filename,numberOfFeature):  #将数据集读入内存 
 fr = open(filename)
 numberOfLines = len(fr.readlines())   #get the number of lines in the file file.readlines()是把文件的全部内容读到内存,并解析成一个list
 returnMat = zeros((numberOfLines,numberOfFeature))  #prepare matrix to return 3代表数据集中特征数目###
 classLabelVector = []      #prepare labels return 
 fr = open(filename)
 index = 0
 for line in fr.readlines():
  line = line.strip()     #strip() 参数为空时,默认删除空白符(包括'\n', '\r', '\t', ' ')
  listFromLine = line.split(',')   #split 以什么为标准分割一次 分成数组中的每个元素
  returnMat[index,:] = listFromLine[0:numberOfFeature] 
  #classLabelVector.append(int(listFromLine[-1])) #append() 方法向列表的尾部添加一个新的元素
  if listFromLine[-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif listFromLine[-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
  index += 1
 return returnMat,classLabelVector
 
def getDataSet_dz(filename,numberOfFeature): #改进版,可以消除数据中的空白行
 numberOfLines = 0
 mx = []  #将数据集 去除空行后存入
 fr = open(filename)
 for line in fr.readlines():  
  line = line.strip() 
  if line != '' : #去除空白行 
   numberOfLines+=1
   mx.append( line.split(',') )
 returnMat = zeros((numberOfLines,numberOfFeature))
 classLabelVector = [] 
 for index in range(numberOfLines) :
  returnMat[index,:] = mx[index][0:numberOfFeature] 
  if mx[index][-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif mx[index][-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
 return returnMat,classLabelVector

以上这篇Python读取数据集并消除数据中的空行方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Django的视图(View)外使用Session的方法
Jul 23 Python
python获取当前目录路径和上级路径的实例
Apr 26 Python
Python的UTC时间转换讲解
Feb 26 Python
PyQt5重写QComboBox的鼠标点击事件方法
Jun 25 Python
Python批量查询关键词微信指数实例方法
Jun 27 Python
利用python-pypcap抓取带VLAN标签的数据包方法
Jul 23 Python
TensorFlow车牌识别完整版代码(含车牌数据集)
Aug 05 Python
pyenv虚拟环境管理python多版本和软件库的方法
Dec 26 Python
使用Keras预训练好的模型进行目标类别预测详解
Jun 27 Python
python使用建议与技巧分享(二)
Aug 17 Python
Python之matplotlib绘制饼图
Apr 13 Python
使用Django框架创建项目
Jun 10 Python
Python实现曲线拟合操作示例【基于numpy,scipy,matplotlib库】
Jul 12 #Python
python跳过第一行快速读取文件内容的实例
Jul 12 #Python
python 读取文本文件的行数据,文件.splitlines()的方法
Jul 12 #Python
Python实现的简单读写csv文件操作示例
Jul 12 #Python
用Python分析3天破10亿的《我不是药神》到底神在哪?
Jul 12 #Python
python之文件读取一行一行的方法
Jul 12 #Python
python 读取文件并替换字段的实例
Jul 12 #Python
You might like
PHP学习笔记 IIS7下安装配置php环境
2012/10/29 PHP
PHP计算加权平均数的方法
2015/07/16 PHP
分享8款优秀的 jQuery 加载动画和进度条插件
2012/10/24 Javascript
jQuery之选择组件的深入解析
2013/06/19 Javascript
js完美实现@提到好友特效(兼容各大浏览器)
2015/03/16 Javascript
chrome不支持form.submit的解决方案
2015/04/28 Javascript
分享12个实用的jQuery代码片段
2016/03/09 Javascript
Sort()函数的多种用法
2016/03/20 Javascript
HTML页面,测试JS对C函数的调用简单实例
2016/08/09 Javascript
javascript数组遍历的方法实例分析
2016/09/13 Javascript
使用Node.js给图片加水印的方法
2016/11/15 Javascript
详解JS几种变量交换方式以及性能分析对比
2016/11/25 Javascript
JS实现的抛物线运动效果示例
2018/01/30 Javascript
mock.js实现模拟生成假数据功能示例
2019/01/15 Javascript
vue中组件的3种使用方式详解
2019/03/23 Javascript
vue 路由守卫(导航守卫)及其具体使用
2020/02/25 Javascript
解决vue2中使用elementUi打包报错的问题
2020/09/22 Javascript
JavaScript手写数组的常用函数总结
2020/11/22 Javascript
[01:24]2014DOTA2 TI第二日 YYF表示这届谁赢都有可能
2014/07/11 DOTA
[04:44]DOTA2 2017全国高校联赛视频回顾
2017/08/21 DOTA
Python实现单词拼写检查
2015/04/25 Python
Python二分查找详解
2015/09/13 Python
python编写简易聊天室实现局域网内聊天功能
2018/07/28 Python
深入浅析Python 中 is 语法带来的误解
2019/05/07 Python
基于pycharm实现批量修改变量名
2020/06/02 Python
Selenium Webdriver元素定位的八种常用方式(小结)
2021/01/13 Python
全球性的在线购物网站:Zapals
2017/03/22 全球购物
关于幼儿的自我评价
2013/12/18 职场文书
《有趣的发现》教学反思
2014/04/15 职场文书
财务工作犯错检讨书
2014/10/07 职场文书
同意迁入证明模板
2014/10/26 职场文书
2015年毕业生个人自荐书
2015/03/24 职场文书
公司仓库管理制度
2015/08/04 职场文书
中国十大神话动漫电影排行榜 哪吒登顶 白蛇缘起排第七
2022/03/21 国漫
vue route新窗口跳转页面并且携带与接收参数
2022/04/10 Vue.js
vue/cli 配置动态代理无需重启服务的方法
2022/05/20 Vue.js