Python pandas常用函数详解


Posted in Python onFebruary 07, 2018

本文研究的主要是pandas常用函数,具体介绍如下。

1 import语句

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import datetime
import re

2 文件读取

df = pd.read_csv(path='file.csv')
参数:header=None 用默认列名,0,1,2,3...
names=['A', 'B', 'C'...] 自定义列名
index_col='A'|['A', 'B'...] 给索引列指定名称,如果是多重索引,可以传list
skiprows=[0,1,2] 需要跳过的行号,从文件头0开始,skip_footer从文件尾开始
nrows=N 需要读取的行数,前N行
chunksize=M 返回迭代类型TextFileReader,每M条迭代一次,数据占用较大内存时使用
sep=':'数据分隔默认是',',根据文件选择合适的分隔符,如果不指定参数,会自动解析
skip_blank_lines=False 默认为True,跳过空行,如果选择不跳过,会填充NaN
converters={'col1', func} 对选定列使用函数func转换,通常表示编号的列会使用(避免转换成int)

dfjs = pd.read_json('file.json') 可以传入json格式字符串
dfex = pd.read_excel('file.xls', sheetname=[0,1..]) 读取多个sheet页,返回多个df的字典

3 数据预处理

df.duplicated() 返回各行是否是上一行的重复行
df.drop_duplicates() 删除重复行,如果需要按照列过滤,参数选填['col1', 'col2',...]
df.fillna(0) 用实数0填充na
df.dropna() axis=0|1 0-index 1-column
how='all'|'any' all-全部是NA才删 any-只要有NA就全删
del df['col1'] 直接删除某一列
df.drop(['col1',...], aixs=1) 删除指定列,也可以删除行
df.column = col_lst 重新制定列名
df.rename(index={'row1':'A'}, 重命名索引名和列名
columns={'col1':'A1'})
df.replace(dict) 替换df值,前后值可以用字典表,{1:‘A', '2':'B'}

def get_digits(str):
m = re.match(r'(\d+(\.\d+)?)', str.decode('utf-8'))
if m is not None:
return float(m.groups()[0])
else:
return 0
df.apply(get_digits) DataFrame.apply,只获取小数部分,可以选定某一列或行
df['col1'].map(func) Series.map,只对列进行函数转换

pd.merge(df1, df2, on='col1',
how='inner',sort=True) 合并两个DataFrame,按照共有的某列做内连接(交集),outter为外连接(并集),结果排序

pd.merge(df1, df2, left_on='col1',
right_on='col2') df1 df2没有公共列名,所以合并需指定两边的参考列

pd.concat([sr1, sr2, sr3,...], axis=0) 多个Series堆叠成多行,结果仍然是一个Series
pd.concat([sr1, sr2, sr3,...], axis=1) 多个Series组合成多行多列,结果是一个DataFrame,索引取并集,没有交集的位置填入缺省值NaN

df1.combine_first(df2) 用df2的数据补充df1的缺省值NaN,如果df2有更多行,也一并补上

df.stack() 列旋转成行,也就是列名变为索引名,原索引变成多层索引,结果是具有多层索引的Series,实际上是把数据集拉长

df.unstack() 将含有多层索引的Series转换为DataFrame,实际上是把数据集压扁,如果某一列具有较少类别,那么把这些类别拉出来作为列
df.pivot() 实际上是unstack的应用,把数据集压扁

pd.get_dummies(df['col1'], prefix='key') 某列含有有限个值,且这些值一般是字符串,例如国家,借鉴位图的思想,可以把k个国家这一列量化成k列,每列用0、1表示

4 数据筛选

df.columns 列名,返回Index类型的列的集合
df.index 索引名,返回Index类型的索引的集合
df.shape 返回tuple,行x列
df.head(n=N) 返回前N条
df.tail(n=M) 返回后M条
df.values 值的二维数组,以numpy.ndarray对象返回
df.index DataFrame的索引,索引不可以直接赋值修改
df.reindex(index=['row1', 'row2',...]
columns=['col1', 'col2',...]) 根据新索引重新排序
df[m:n] 切片,选取m~n-1行
df[df['col1'] > 1] 选取满足条件的行
df.query('col1 > 1') 选取满足条件的行
df.query('col1==[v1,v2,...]')
df.ix[:,'col1'] 选取某一列
df.ix['row1', 'col2'] 选取某一元素
df.ix[:,:'col2'] 切片选取某一列之前(包括col2)的所有列
df.loc[m:n] 获取从m~n行(推荐)
df.iloc[m:n] 获取从m~n-1行
df.loc[m:n-1,'col1':'coln'] 获取从m~n行的col1~coln列

sr=df['col'] 取某一列,返回Series
sr.values Series的值,以numpy.ndarray对象返回
sr.index Series的索引,以index对象返回

5 数据运算与排序

df.T DataFrame转置
df1 + df2 按照索引和列相加,得到并集,NaN填充
df1.add(df2, fill_value=0) 用其他值填充
df1.add/sub//mul/div 四则运算的方法
df - sr DataFrame的所有行同时减去Series
df * N 所有元素乘以N
df.add(sr, axis=0) DataFrame的所有列同时减去Series

sr.order() Series升序排列
df.sort_index(aixs=0, ascending=True) 按行索引升序
df.sort_index(by=['col1', 'col2'...]) 按指定列优先排序
df.rank() 计算排名rank值

6 数学统计

sr.unique Series去重
sr.value_counts() Series统计频率,并从大到小排序,DataFrame没有这个方法
sr.describe() 返回基本统计量和分位数

df.describe() 按各列返回基本统计量和分位数
df.count() 求非NA值得数量
df.max() 求最大值
df.min() 求最大值
df.sum(axis=0) 按各列求和
df.mean() 按各列求平均值
df.median() 求中位数
df.var() 求方差
df.std() 求标准差
df.mad() 根据平均值计算平均绝对利差
df.cumsum() 求累计和
sr1.corr(sr2) 求相关系数
df.cov() 求协方差矩阵
df1.corrwith(df2) 求相关系数

pd.cut(array1, bins) 求一维数据的区间分布
pd.qcut(array1, 4) 按指定分位数进行区间划分,4可以替换成自定义的分位数列表

df['col1'].groupby(df['col2']) 列1按照列2分组,即列2作为key
df.groupby('col1') DataFrame按照列1分组
grouped.aggreagte(func) 分组后根据传入函数来聚合
grouped.aggregate([f1, f2,...]) 根据多个函数聚合,表现成多列,函数名为列名
grouped.aggregate([('f1_name', f1), ('f2_name', f2)]) 重命名聚合后的列名
grouped.aggregate({'col1':f1, 'col2':f2,...}) 对不同的列应用不同函数的聚合,函数也可以是多个

df.pivot_table(['col1', 'col2'],
rows=['row1', 'row2'],
aggfunc=[np.mean, np.sum]
fill_value=0,
margins=True) 根据row1, row2对col1, col2做分组聚合,聚合方法可以指定多种,并用指定值替换缺省值

pd.crosstab(df['col1'], df['col2']) 交叉表,计算分组的频率

总结

以上就是本文关于Python pandas常用函数详解的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
Python内置函数之filter map reduce介绍
Nov 30 Python
python将字典内容存入mysql实例代码
Jan 18 Python
python ChainMap的使用和说明详解
Jun 11 Python
python cv2读取rtsp实时码流按时生成连续视频文件方式
Dec 25 Python
如何使用selenium和requests组合实现登录页面
Feb 03 Python
服务器端jupyter notebook映射到本地浏览器的操作
Apr 14 Python
Jupyter Notebook的连接密码 token查询方式
Apr 21 Python
基于jupyter代码无法在pycharm中运行的解决方法
Apr 21 Python
浅谈Python中的模块
Jun 10 Python
Keras-多输入多输出实例(多任务)
Jun 22 Python
keras 自定义loss model.add_loss的使用详解
Jun 22 Python
python 对xml解析的示例
Feb 27 Python
详解python字节码
Feb 07 #Python
Tensorflow之构建自己的图片数据集TFrecords的方法
Feb 07 #Python
python深度优先搜索和广度优先搜索
Feb 07 #Python
Python Flask基础教程示例代码
Feb 07 #Python
Python装饰器用法实例总结
Feb 07 #Python
使用apidocJs快速生成在线文档的实例讲解
Feb 07 #Python
Python自定义线程池实现方法分析
Feb 07 #Python
You might like
PHP数组排序之sort、asort与ksort用法实例
2014/09/08 PHP
php在数组中查找指定值的方法
2015/03/17 PHP
Yii2框架实现登陆添加验证码功能示例
2018/07/12 PHP
javascript 密码强度验证规则、打分、验证(给出前端代码,后端代码可根据强度规则翻译)
2010/05/18 Javascript
使用jquery获取网页中图片高度的两种方法
2013/09/26 Javascript
经过绑定元素时会多次触发mouseover和mouseout事件
2014/02/28 Javascript
javascript实现checkBox的全选,反选与赋值
2015/03/12 Javascript
学习javascript面向对象 javascript实现继承的方式
2016/01/04 Javascript
实例讲解JavaScript中的this指向错误解决方法
2016/06/13 Javascript
浅谈JavaScript 中有关时间对象的方法
2016/08/15 Javascript
js print打印网页指定区域内容的简单实例
2016/11/01 Javascript
JavaScript累加、迭代、穷举、递归等常用算法实例小结
2018/05/08 Javascript
QQ跳转支付宝并自动领红包脚本(最新)
2018/06/22 Javascript
vue.js template模板的使用(仿饿了么布局)
2018/08/13 Javascript
vue中过滤器filter的讲解
2019/01/21 Javascript
ES6基础之默认参数值
2019/02/21 Javascript
发布订阅模式在vue中的实际运用实例详解
2019/06/09 Javascript
Node.js之删除文件夹(含递归删除)代码实例
2019/09/09 Javascript
JS实现数据动态渲染的竖向步骤条
2020/06/24 Javascript
通过JS判断网页是否为手机打开
2020/10/28 Javascript
Python上传package到Pypi(代码简单)
2016/02/06 Python
Python实现螺旋矩阵的填充算法示例
2017/12/28 Python
Python两个字典键同值相加的几种方法
2019/03/05 Python
python通过TimedRotatingFileHandler按时间切割日志
2019/07/17 Python
基于python实现的百度音乐下载器python pyqt改进版(附代码)
2019/08/05 Python
使用Python制作一个打字训练小工具
2019/10/01 Python
python正则表达式匹配IP代码实例
2019/12/28 Python
Python基于requests库爬取网站信息
2020/03/02 Python
Python基于time模块表示时间常用方法
2020/06/18 Python
使用Dajngo 通过代码添加xadmin用户和权限(组)
2020/07/03 Python
介绍一下RMI的基本概念
2016/12/17 面试题
三项教育活动实施方案
2014/03/30 职场文书
银行领导班子四风对照检查材料
2014/09/27 职场文书
十一国庆节“向国旗敬礼”主题班会活动方案
2014/09/27 职场文书
90条交通安全宣传标语
2019/10/12 职场文书
mysql数据插入覆盖和时间戳的问题及解决
2022/03/25 MySQL