python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python使用mysqldb连接数据库操作方法示例详解
Dec 03 Python
Python计算程序运行时间的方法
Dec 13 Python
matplotlib绘图实例演示标记路径
Jan 23 Python
Python交互环境下实现输入代码
Jun 22 Python
对python opencv 添加文字 cv2.putText 的各参数介绍
Dec 05 Python
Python 判断图像是否读取成功的方法
Jan 26 Python
Django Python 获取请求头信息Content-Range的方法
Aug 06 Python
pygame库实现移动底座弹球小游戏
Apr 14 Python
解决Python列表字符不区分大小写的问题
Dec 19 Python
Python标准库itertools的使用方法
Jan 17 Python
Python Tornado批量上传图片并显示功能
Mar 26 Python
python中的对数log函数表示及用法
Dec 09 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
PHP在XP下IIS和Apache2服务器上的安装
2006/09/05 PHP
PHP提取数据库内容中的图片地址并循环输出
2010/03/21 PHP
php去除换行(回车换行)的三种方法
2014/03/26 PHP
不使用php api函数实现数组的交换排序示例
2014/04/13 PHP
thinkPHP实现表单自动验证
2014/12/24 PHP
验证token、回复图文\文本、推送消息的实用微信类php代码
2016/06/28 PHP
浅析Laravel5中队列的配置及使用
2016/08/04 PHP
PHP实现二叉树深度优先遍历(前序、中序、后序)和广度优先遍历(层次)实例详解
2018/04/20 PHP
关于JS中的闭包浅谈
2013/08/23 Javascript
js常用数组操作方法简明总结
2014/06/20 Javascript
浅谈JavaScript中的Math.atan()方法的使用
2015/06/14 Javascript
第一次记录Bootstrap table学习笔记(1)
2017/05/18 Javascript
Angular2的管道Pipe的使用方法
2017/11/07 Javascript
微信小程序实现手势图案锁屏功能
2018/01/30 Javascript
Vue中保存数据到磁盘文件的方法
2018/09/06 Javascript
vue项目搭建以及全家桶的使用详细教程(小结)
2018/12/19 Javascript
axios如何利用promise无痛刷新token的实现方法
2019/08/27 Javascript
vue中jsonp插件的使用方法示例
2020/09/10 Javascript
vue组件中节流函数的失效的原因和解决方法
2020/12/02 Vue.js
[48:45]Ti4 循环赛第二日 NEWBEE vs EG
2014/07/11 DOTA
python实践项目之监控当前联网状态详情
2019/05/23 Python
pandas基于时间序列的固定时间间隔求均值的方法
2019/07/04 Python
python 类之间的参数传递方式
2019/12/20 Python
python opencv 实现对图像边缘扩充
2020/01/19 Python
python读取mysql数据绘制条形图
2020/03/25 Python
详解使用python3.7配置开发钉钉群自定义机器人(2020年新版攻略)
2020/04/01 Python
I.T中国官网:精选时尚设计师单品网购平台
2018/03/26 全球购物
全球最大的游戏市场:G2A
2018/07/05 全球购物
委托与事件是什么关系?为什么要使用委托
2014/04/18 面试题
internal修饰符起什么作用
2013/12/16 面试题
学校安全教育制度
2014/01/31 职场文书
八一建军节活动方案
2014/02/10 职场文书
主题婚礼策划方案
2014/02/10 职场文书
市场部经理岗位职责
2014/04/10 职场文书
圣诞节活动策划方案
2014/06/09 职场文书
CSS基础详解
2021/10/16 HTML / CSS