Pandas 数据编码的十种方法


Posted in Python onApril 20, 2022

大家好,我是早起。

最近在知乎上看到这样一个问题

Pandas 数据编码的十种方法

题主表示pandas用起来很乱,事实真的如此吗?本文就将先如何利用pandas来行数据转换/编码的十种方案,最后再回答这个问题。

其实这个操作在机器学习中十分常见,很多算法都需要我们对分类特征进行转换(编码),即根据某一列的值,新增(修改)一列。

为了方便理解,下面创建示例DataFrame

Pandas 数据编码的十种方法

数值型数据

让我们先来讨论连续型数据的转换,也就是根据Score列的值,来新增一列标签,即如果分数大于90,则标记为A,分数在80-90标记为B,以此类推。

自定义函数 + 循环遍历

首先当然是最简单,最笨的方法,自己写一个函数,并用循环遍历,那肯定就是一个def加一个for

df1 = df.copy()

def myfun(x):
    if x>90:
        return 'A'
    elif x>=80 and x<90:
        return 'B'
    elif x>=70 and x<80:
        return 'C'
    elif x>=60 and x<70:
        return 'D'
    else:
        return 'E'
    
df1['Score_Label'] = None
for i in range(len(df1)):
    df1.iloc[i,3] = myfun(df1.iloc[i,2])

这段代码,相信所有人都能看懂,简单好想但比较麻

Pandas 数据编码的十种方法

有没有更简单的办法呢?pandas当然提供了很多高效的操作的函数,继续往下看。

自定义函数 + map

现在,可以使用map来干掉循环(虽然本质上也是循环)

df2 = df.copy()

def mapfun(x):
    if x>90:
        return 'A'
    elif x>=80 and x<90:
        return 'B'
    elif x>=70 and x<80:
        return 'C'
    elif x>=60 and x<70:
        return 'D'
    else:
        return 'E'

df2['Score_Label'] = df2['Score'].map(mapfun)

结果是同样的

Pandas 数据编码的十种方法

自定义函数 + apply

如果还想简洁代码,可以使用自定义函数 + apply来干掉自定义函数

df3 = df.copy()
df3['Score_Label'] = df3['Score'].apply(lambda x: 'A' if x > 90 else (
    'B' if 90 > x >= 80 else ('C' if 80 > x >= 70 else ('D' if 70 > x >= 60 else 'E'))))

结果和上面是一致的,只不过这么写容易被打。

使用 pd.cut

现在,让我们继续了解更高级的pandas函数,依旧是对 Score 进行编码,使用pd.cut,并指定划分的区间后,可以直接帮你分好组

df4 = df.copy()
bins = [0, 59, 70, 80, 100]
df4['Score_Label'] = pd.cut(df4['Score'], bins)

Pandas 数据编码的十种方法

也可以直接使用labels参数来修改对应组的名称,是不是方便多了

df4['Score_Label_new'] = pd.cut(df4['Score'], bins, labels=[
                                'low', 'middle', 'good', 'perfect'])

Pandas 数据编码的十种方法

使用 sklearn 二值化

既然是和机器学习相关,sklearn肯定跑不掉,如果需要新增一列并判定成绩是否及格,就可以使用Binarizer函数,代码也是简洁好懂

df5 = df.copy()
binerize = Binarizer(threshold = 60)
trans = binerize.fit_transform(np.array(df1['Score']).reshape(-1,1))
df5['Score_Label'] = trans

Pandas 数据编码的十种方法

文本型数据

下面介绍更常见的,对文本数据进行转换打标签。例如新增一列,将性别男、女分别标记为0、1

使用 replace

首先介绍replace,但要注意的是,上面说过的自定义函数相关方法依旧是可行的

df6 = df.copy()
df6['Sex_Label'] = df6['Sex'].replace(['Male','Female'],[0,1])

Pandas 数据编码的十种方法

上面是对性别操作,因为只有男女,所以可以手动指定0、1,但要是类别很多,也可以使用pd.value_counts()来自动指定标签,例如对Course Name列分组

df6 = df.copy()
value = df6['Course Name'].value_counts()
value_map = dict((v, i) for i,v in enumerate(value.index))
df6['Course Name_Label'] = df6.replace({'Course Name':value_map})['Course Name']

Pandas 数据编码的十种方法

使用map

额外强调的是,新增一列,一定要能够想到map

df7 = df.copy()
Map = {elem:index for index,elem in enumerate(set(df["Course Name"]))}
df7['Course Name_Label'] = df7['Course Name'].map(Map)

Pandas 数据编码的十种方法

使用astype

这个方法应该很多人不知道,这就属于上面提到的知乎问题,能实现的方法太多了

df8 = df.copy()
value = df8['Course Name'].astype('category')
df8['Course Name_Label'] = value.cat.codes

Pandas 数据编码的十种方法

使用 sklearn

同数值型一样,这种机器学习中的经典操作,sklearn一定有办法,使用LabelEncoder可以对分类数据进行编码

from sklearn.preprocessing import LabelEncoder
df9 = df.copy()
le = LabelEncoder()
le.fit(df9['Sex'])
df9['Sex_Label'] = le.transform(df9['Sex'])
le.fit(df9['Course Name'])
df9['Course Name_Label'] = le.transform(df9['Course Name'])

Pandas 数据编码的十种方法

一次性转换两列也是可以的

df9 = df.copy()
le = OrdinalEncoder()
le.fit(df9[['Sex','Course Name']])
df9[['Sex_Label','Course Name_Label']] = le.transform(df9[['Sex','Course Name']])

使用factorize

最后,再介绍一个小众但好用的pandas方法,我们需要注意到,在上面的方法中,自动生成的Course Name_Label列,虽然一个数据对应一个语言,因为避免写自定义函数或者字典,这样可以自动生成,所以大多是无序的。

如果我们希望它是有序的,也就是 Python 对应 0Java对应1,除了自己指定,还有什么优雅的办法?这时可以使用factorize,它会根据出现顺序进行编码

df10 = df.copy()
df10['Course Name_Label'] = pd.factorize(df10['Course Name'])[0]

Pandas 数据编码的十种方法

结合匿名函数,我们可以做到对多列进行有序编码转换

df10 = df.copy()
cat_columns = df10.select_dtypes(['object']).columns

df10[['Sex_Label', 'Course Name_Label']] = df10[cat_columns].apply(
    lambda x: pd.factorize(x)[0])

Pandas 数据编码的十种方法

总结

至此,我要介绍的十种pandas数据编码的方法就分享完毕,代码拿走修改变量名就能用

现在回到文章开头的问题,如果你觉得pandas用起来很乱,说明你可能还未对pandas有一个全面且彻底的了解。

其实就像本文介绍数据编码转换一样,确实有很多方法可以实现显得很乱,但学习pandas的正确姿势就是应该把它当成字典来学,不必记住所有方法与细节,你只需知道有这么个函数能完成这样操作,需要用时能想到,想到再来查就行。

以上就是Pandas进行数据编码的十种方式总结的详细内容!

Python 相关文章推荐
用Python的线程来解决生产者消费问题的示例
Apr 02 Python
简单掌握Python中glob模块查找文件路径的用法
Jul 05 Python
python正则表达式的使用
Jun 12 Python
PyChar学习教程之自定义文件与代码模板详解
Jul 17 Python
Python处理文本换行符实例代码
Feb 03 Python
python3利用Dlib19.7实现人脸68个特征点标定
Feb 26 Python
Python使用pip安装pySerial串口通讯模块
Apr 20 Python
解决安装python3.7.4报错Can''t connect to HTTPS URL because the SSL module is not available
Jul 31 Python
详解pandas绘制矩阵散点图(scatter_matrix)的方法
Apr 23 Python
Python项目跨域问题解决方案
Jun 22 Python
keras:model.compile损失函数的用法
Jul 01 Python
解决hive中导入text文件遇到的坑
Apr 07 Python
Python读取和写入Excel数据
Python 的演示平台支持 WSGI 接口的应用
Apr 20 #Python
python​格式化字符串
Apr 20 #Python
Python编写冷笑话生成器
Apr 20 #Python
Python Django / Flask如何使用Elasticsearch
Apr 19 #Python
python中mongodb包操作数据库
Apr 19 #Python
Elasticsearch 聚合查询和排序
Apr 19 #Python
You might like
PHP flock 文件锁详细介绍
2012/12/29 PHP
php版小黄鸡simsimi聊天机器人接口分享
2014/01/26 PHP
通过php添加xml文档内容的方法
2015/01/23 PHP
PHP实现的数组和XML文件相互转换功能示例
2018/03/15 PHP
用js解决数字不能换行问题
2010/08/10 Javascript
angularJs关于指令的一些冷门属性详解
2016/10/24 Javascript
Vue 父子组件、组件间通信
2017/03/08 Javascript
JS与SQL方式随机生成高强度密码示例
2018/12/29 Javascript
小程序实现多列选择器
2019/02/15 Javascript
jQuery实现条件搜索查询、实时取值及升降序排序的方法分析
2019/05/04 jQuery
微信小程序实现组件顶端固定或底端固定效果(不随滚动而滚动)
2020/04/09 Javascript
JavaScript缺少insertAfter解决方案
2020/07/03 Javascript
js+canvas实现转盘效果(两个版本)
2020/09/13 Javascript
JS实现无限轮播无倒退效果
2020/09/21 Javascript
ESLint 是如何检查 .vue 文件的
2020/11/30 Vue.js
python使用PIL缩放网络图片并保存的方法
2015/04/24 Python
Python字符编码判断方法分析
2016/07/01 Python
Python实现单词翻译功能
2017/06/06 Python
python使用Matplotlib画饼图
2018/09/25 Python
Python实现的简单线性回归算法实例分析
2018/12/26 Python
对python:threading.Thread类的使用方法详解
2019/01/31 Python
解决Python安装时报缺少DLL问题【两种解决方法】
2019/07/15 Python
如何在pycharm中安装第三方包
2020/10/27 Python
基于Python爬取搜狐证券股票过程解析
2020/11/18 Python
HTML5的download属性详细介绍和使用实例
2014/04/23 HTML / CSS
物流专业大学应届生求职信
2013/11/03 职场文书
自行车租赁公司创业计划书
2014/01/28 职场文书
音乐教学随笔感言
2014/02/19 职场文书
安全教育月活动总结
2014/05/05 职场文书
高中学校对照检查材料
2014/08/31 职场文书
医生见习报告范文
2014/11/03 职场文书
2014年化验员工作总结
2014/11/18 职场文书
Python数据清洗工具之Numpy的基本操作
2021/04/22 Python
MySQL 十大常用字符串函数详解
2021/06/30 MySQL
Python Pandas读取Excel日期数据的异常处理方法
2022/02/28 Python
mysql数据库如何转移到oracle
2022/12/24 MySQL