python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python正则匹配抓取豆瓣电影链接和评论代码分享
Dec 27 Python
python实现探测socket和web服务示例
Mar 28 Python
Python实现从订阅源下载图片的方法
Mar 11 Python
Python2.x版本中基本的中文编码问题解决
Oct 12 Python
深入解析Python中的__builtins__内建对象
Jun 21 Python
python enumerate函数的使用方法总结
Nov 15 Python
python爬取淘宝商品详情页数据
Feb 23 Python
python简单验证码识别的实现方法
May 10 Python
python频繁写入文件时提速的方法
Jun 26 Python
详解Python图像处理库Pillow常用使用方法
Sep 02 Python
详解python内置常用高阶函数(列出了5个常用的)
Feb 21 Python
Python 必须了解的5种高级特征
Sep 10 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
重置版游戏视频
2020/04/09 魔兽争霸
PHP不用第三变量交换2个变量的值的解决方法
2013/06/02 PHP
thinkPHP使用post方式查询时分页失效的解决方法
2015/12/09 PHP
php使用str_shuffle()函数生成随机字符串的方法分析
2017/02/17 PHP
QQ邮箱的一个文本编辑器代码
2007/03/14 Javascript
javascript eval函数深入认识
2009/02/21 Javascript
JavaScript具有类似Lambda表达式编程能力的代码(改进版)
2010/09/14 Javascript
Ext.get() 和 Ext.query()组合使用实现最灵活的取元素方式
2011/09/26 Javascript
Jquery中使用setInterval和setTimeout的方法
2013/04/08 Javascript
javascript中encodeURI和decodeURI方法使用介绍
2013/05/06 Javascript
删除select中所有option选项jquery代码
2013/08/12 Javascript
js select option对象小结
2013/12/20 Javascript
AspNet中使用JQuery boxy插件的确认框
2015/05/20 Javascript
JS生成一维码(条形码)功能示例
2017/01/19 Javascript
BootStrap CSS全局样式和表格样式源码解析
2017/01/20 Javascript
Node.JS中事件轮询(Event Loop)的解析
2017/02/25 Javascript
express框架实现基于Websocket建立的简易聊天室
2017/08/10 Javascript
[00:56]2014DOTA2国际邀请赛 DK、iG 赛前探访
2014/07/10 DOTA
Python time模块详解(常用函数实例讲解,非常好)
2014/04/24 Python
Python实现根据指定端口探测服务器/模块部署的方法
2014/08/25 Python
Python制作豆瓣图片的爬虫
2017/12/28 Python
使用pandas读取csv文件的指定列方法
2018/04/21 Python
python实现图片转字符小工具
2019/04/30 Python
python不使用for计算两组、多个矩形两两间的iou方式
2020/01/18 Python
Anaconda的安装及其环境变量的配置详解
2020/04/22 Python
python文件排序的方法总结
2020/09/13 Python
CSS图片翻转动画技术详解(IE也实现了)
2014/04/03 HTML / CSS
PurCotton全棉时代官网:100%天然棉花生产的生活护理用品
2016/11/18 全球购物
留学推荐信怎么写
2014/01/25 职场文书
运动会跳远加油稿
2014/02/20 职场文书
企业宣传方案
2014/03/04 职场文书
高中军训第一天感言
2014/03/06 职场文书
购房意向书
2014/04/01 职场文书
蛋糕店创业计划书
2014/05/06 职场文书
2014银行领导班子四风对照检查材料思想汇报
2014/09/25 职场文书
圣诞晚会主持词
2015/07/01 职场文书