使用pandas库对csv文件进行筛选保存


Posted in Python onMay 25, 2020

这个操作现在看来真没啥难的,但是我找相关的资料真的找了好久。

多数大佬都是直接pandas官网甩我脸上,然后举一个入门级的例子。

https://pandas.pydata.org/docs/reference/index.html

首先导入pandas库

import pandas as pd

然后使用read_csv来打开指定的csv文件

df = pd.read_csv('./IP2LOCATION.csv',encoding= 'utf-8')

这个函数里面需要写入csv文件的路径,如果是把csv文件保存到了python的工程文件夹下,则只需要./文件名即可,然后encoding='utf-8'是使用utf-8方式编码,有时候需要换成gbk。

虽然我们读取的是csv文件,但其实由于我们使用的是pandas库,所以我们实际获得的是一个DataFrame的数据结构。

可以使用print(type(df))进行检验

print(type(df))

使用pandas库对csv文件进行筛选保存

DataFrame 是表格型的数据结构。因此,我们可以将其当做表格。DataFrame 是以表格类似展示,而且还包含行标签、列标签。

我们可以添加一个列标签,使用方法为pandas.DataFrame.columns

在我们的例子中DataFrame类型的变量为df,因此使用方法为df.columns,我们添加的列标签为a、b、c、d、e、f

df.columns = ['a','b','c','d','e','f']

然后,我们想把某一列中等于特定值的那些行提取出来

可以将读出来的内容当做一个列表,然后这个列表的元素是表中的每一行,然后这每一行也是一个列表,也就是列表中的列表。

比如,我想将表中第5列中值为Andhra Pradesh的行提取出来,并且由于我们之前定义了第五列的列标签为e

因此代码为:

data = df[df['e'] == 'Andhra Pradesh']

最后我们可以通过pandas中的to_csv,来将筛选出来的数据保存到新的csv文件中。

data.to_csv('my_IP2LOCATION.csv')

用法为表名.to_csv('所要保存地方的路径/表名.csv')

最后总结一下我们的代码

import pandas as pd

df = pd.read_csv('./IP2LOCATION.csv',encoding= 'utf-8')
# print(type(df))
df.columns = ['a','b','c','d','e','f']
data = df[df['e'] == 'Andhra Pradesh']
data.to_csv('my_IP2LOCATION.csv')

IP2LOCATION.csv内容如下:

使用pandas库对csv文件进行筛选保存

总共有759727行

然后经过我们的筛选后的my_IP2LOCATION.csv

使用pandas库对csv文件进行筛选保存

只有3461行

PS:可以使用print(len(df.values))来查看行数

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python快速查找算法应用实例
Sep 26 Python
基于python的Tkinter编写登陆注册界面
Jun 30 Python
tensorflow更改变量的值实例
Jul 30 Python
Python离线安装PIL 模块的方法
Jan 08 Python
django 自定义过滤器(filter)处理较为复杂的变量方法
Aug 12 Python
Django之编辑时根据条件跳转回原页面的方法
Aug 21 Python
Python实现栈的方法详解【基于数组和单链表两种方法】
Feb 22 Python
python为QT程序添加图标的方法详解
Mar 09 Python
python递归调用中的坑:打印有值, 返回却None
Mar 16 Python
Python通过socketserver处理多个链接
Mar 18 Python
Python字典fromkeys()方法使用代码实例
Jul 20 Python
手把手教你如何用Pycharm2020.1.1配置远程连接的详细步骤
Aug 07 Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
May 25 #Python
基于pandas向csv添加新的行和列
May 25 #Python
Python如何把十进制数转换成ip地址
May 25 #Python
tensorflow模型转ncnn的操作方式
May 25 #Python
MxNet预训练模型到Pytorch模型的转换方式
May 25 #Python
浅谈pytorch 模型 .pt, .pth, .pkl的区别及模型保存方式
May 25 #Python
Pytorch通过保存为ONNX模型转TensorRT5的实现
May 25 #Python
You might like
PHP常用的文件操作函数经典收藏
2013/04/02 PHP
TextArea 控件的最大长度问题(js json)
2009/12/16 Javascript
再谈javascript 动态添加样式规则 W3C校检
2009/12/25 Javascript
Jquery cookie操作代码
2010/03/14 Javascript
jQuery向后台传入json格式数据的方法
2015/02/13 Javascript
Javascript实现的Map集合工具类完整实例
2015/07/31 Javascript
jquery基础知识第一讲之认识jquery
2016/03/17 Javascript
js 输入框 正则表达式(菜鸟必看教程)
2017/02/19 Javascript
vue使用axios实现文件上传进度的实时更新详解
2017/12/20 Javascript
对vux点击事件的优化详解
2018/08/28 Javascript
详解如何在vue项目中使用lodop打印插件
2018/09/27 Javascript
vue + typescript + 极验登录验证的实现方法
2019/06/27 Javascript
微信小程序绘制半圆(弧形)进度条
2020/11/18 Javascript
[05:06]DOTA2-DPC中国联赛 正赛 VG vs Magma选手采访
2021/03/11 DOTA
使用Node.js和Socket.IO扩展Django的实时处理功能
2015/04/20 Python
在Django框架中编写Context处理器的方法
2015/07/20 Python
pandas or sql计算前后两行数据间的增值方法
2018/04/20 Python
python读取excel指定列数据并写入到新的excel方法
2018/07/10 Python
通过python将大量文件按修改时间分类的方法
2018/10/17 Python
python中的数据结构比较
2019/05/13 Python
使用python来调用CAN通讯的DLL实现方法
2019/07/03 Python
用python求一重积分和二重积分的例子
2019/12/06 Python
浅谈keras中的Merge层(实现层的相加、相减、相乘实例)
2020/05/23 Python
CSS3中动画属性transform、transition和animation属性的区别
2016/09/25 HTML / CSS
中国宠物用品商城:E宠商城
2016/08/27 全球购物
英语专业个人求职自荐信
2013/09/21 职场文书
智能电子应届生求职信
2013/11/10 职场文书
办公室文员工作自我评价
2013/12/01 职场文书
村委会主任先进事迹
2014/01/15 职场文书
应届电子商务毕业自荐书范文
2014/02/11 职场文书
家长对老师的感言
2014/03/11 职场文书
操行评语大全
2014/04/30 职场文书
幼儿园中班区域活动总结
2014/07/09 职场文书
卖车协议书范文
2016/03/23 职场文书
警用民用对讲机找不同
2022/02/18 无线电
python标准库ElementTree处理xml
2022/05/20 Python