Python读取数据集并消除数据中的空行方法


Posted in Python onJuly 12, 2018

如下所示:

# -*- coding: utf-8 -*-
# @ author hulei 2016-5-3
from numpy import *
import operator
from os import listdir
 
import sys
reload(sys)
sys.setdefaultencoding('utf8')
 
# x,y=getDataSet_dz('iris.data.txt',4)
 
def getDataSet(filename,numberOfFeature):  #将数据集读入内存 
 fr = open(filename)
 numberOfLines = len(fr.readlines())   #get the number of lines in the file file.readlines()是把文件的全部内容读到内存,并解析成一个list
 returnMat = zeros((numberOfLines,numberOfFeature))  #prepare matrix to return 3代表数据集中特征数目###
 classLabelVector = []      #prepare labels return 
 fr = open(filename)
 index = 0
 for line in fr.readlines():
  line = line.strip()     #strip() 参数为空时,默认删除空白符(包括'\n', '\r', '\t', ' ')
  listFromLine = line.split(',')   #split 以什么为标准分割一次 分成数组中的每个元素
  returnMat[index,:] = listFromLine[0:numberOfFeature] 
  #classLabelVector.append(int(listFromLine[-1])) #append() 方法向列表的尾部添加一个新的元素
  if listFromLine[-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif listFromLine[-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
  index += 1
 return returnMat,classLabelVector
 
def getDataSet_dz(filename,numberOfFeature): #改进版,可以消除数据中的空白行
 numberOfLines = 0
 mx = []  #将数据集 去除空行后存入
 fr = open(filename)
 for line in fr.readlines():  
  line = line.strip() 
  if line != '' : #去除空白行 
   numberOfLines+=1
   mx.append( line.split(',') )
 returnMat = zeros((numberOfLines,numberOfFeature))
 classLabelVector = [] 
 for index in range(numberOfLines) :
  returnMat[index,:] = mx[index][0:numberOfFeature] 
  if mx[index][-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif mx[index][-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
 return returnMat,classLabelVector

以上这篇Python读取数据集并消除数据中的空行方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python常见文件操作的函数示例代码
Nov 15 Python
python分析网页上所有超链接的方法
May 08 Python
python+VTK环境搭建及第一个简单程序代码
Dec 13 Python
Python matplotlib 画图窗口显示到gui或者控制台的实例
May 24 Python
pyttsx3实现中文文字转语音的方法
Dec 24 Python
Python 实现域名解析为ip的方法
Feb 14 Python
利用django+wechat-python-sdk 创建微信服务器接入的方法
Feb 20 Python
Python数据库小程序源代码
Sep 15 Python
tensorflow 实现自定义梯度反向传播代码
Feb 10 Python
python+selenium+chromedriver实现爬虫示例代码
Apr 10 Python
解决python执行较大excel文件openpyxl慢问题
May 15 Python
python微信智能AI机器人实现多种支付方式
Apr 12 Python
Python实现曲线拟合操作示例【基于numpy,scipy,matplotlib库】
Jul 12 #Python
python跳过第一行快速读取文件内容的实例
Jul 12 #Python
python 读取文本文件的行数据,文件.splitlines()的方法
Jul 12 #Python
Python实现的简单读写csv文件操作示例
Jul 12 #Python
用Python分析3天破10亿的《我不是药神》到底神在哪?
Jul 12 #Python
python之文件读取一行一行的方法
Jul 12 #Python
python 读取文件并替换字段的实例
Jul 12 #Python
You might like
使用ThinkPHP自带的Http类下载远程图片到本地的实现代码
2011/08/02 PHP
PHP测试成功的邮件发送案例
2015/10/26 PHP
Laravel多域名下字段验证的方法
2019/04/04 PHP
javascript 命名空间以提高代码重用性
2008/11/13 Javascript
Kibo 用于处理键盘事件的Javascript工具库
2011/10/28 Javascript
判断滚动条到底部的JS代码
2013/11/04 Javascript
JavaScript实现维吉尼亚(Vigenere)密码算法实例
2013/11/22 Javascript
jQuery(js)获取文字宽度(显示长度)示例代码
2013/12/31 Javascript
JavaScript fontcolor方法入门实例(按照指定的颜色来显示字符串)
2014/10/17 Javascript
JS实现图片产生波纹一样flash效果的方法
2015/02/27 Javascript
使用struts2+Ajax+jquery验证用户名是否已被注册
2016/03/22 Javascript
详解jQuery中基本的动画方法
2016/12/14 Javascript
vue实现验证码按钮倒计时功能
2018/04/10 Javascript
AngularJs用户输入动态模板XSS攻击示例详解
2018/04/21 Javascript
javascript实现一款好看的秒表计时器
2020/09/05 Javascript
[02:44]重置世界,颠覆未来——DOTA2 7.23版本震撼上线
2019/12/01 DOTA
Python中文件遍历的两种方法
2014/06/16 Python
在Python编程过程中用单元测试法调试代码的介绍
2015/04/02 Python
python简单实现基于SSL的IRC bot实例
2015/06/15 Python
python json.loads兼容单引号数据的方法
2018/12/19 Python
解决Jupyter notebook中.py与.ipynb文件的import问题
2020/04/21 Python
Pycharm2020最新激活码|永久激活(附最新激活码和插件的详细教程)
2020/09/29 Python
金宝贝童装官网:Gymboree
2016/08/31 全球购物
索尼巴西商店:Sony巴西
2019/06/21 全球购物
实习生自荐信范文分享
2013/11/27 职场文书
办公室秘书自我鉴定
2014/01/18 职场文书
十佳大学生事迹材料
2014/01/29 职场文书
协议书怎么写
2014/04/21 职场文书
感恩父母的演讲稿
2014/05/06 职场文书
促销活动总结怎么写
2014/06/25 职场文书
户籍证明模板
2014/09/28 职场文书
工人先锋号申报材料
2014/12/29 职场文书
秦始皇兵马俑导游词
2015/02/02 职场文书
2015员工年度考核评语
2015/03/25 职场文书
浅析MySQL如何实现事务隔离
2021/06/26 MySQL
MySQL中连接查询和子查询的问题
2021/09/04 MySQL