Pandas 数据编码的十种方法


Posted in Python onApril 20, 2022

大家好,我是早起。

最近在知乎上看到这样一个问题

Pandas 数据编码的十种方法

题主表示pandas用起来很乱,事实真的如此吗?本文就将先如何利用pandas来行数据转换/编码的十种方案,最后再回答这个问题。

其实这个操作在机器学习中十分常见,很多算法都需要我们对分类特征进行转换(编码),即根据某一列的值,新增(修改)一列。

为了方便理解,下面创建示例DataFrame

Pandas 数据编码的十种方法

数值型数据

让我们先来讨论连续型数据的转换,也就是根据Score列的值,来新增一列标签,即如果分数大于90,则标记为A,分数在80-90标记为B,以此类推。

自定义函数 + 循环遍历

首先当然是最简单,最笨的方法,自己写一个函数,并用循环遍历,那肯定就是一个def加一个for

df1 = df.copy()

def myfun(x):
    if x>90:
        return 'A'
    elif x>=80 and x<90:
        return 'B'
    elif x>=70 and x<80:
        return 'C'
    elif x>=60 and x<70:
        return 'D'
    else:
        return 'E'
    
df1['Score_Label'] = None
for i in range(len(df1)):
    df1.iloc[i,3] = myfun(df1.iloc[i,2])

这段代码,相信所有人都能看懂,简单好想但比较麻

Pandas 数据编码的十种方法

有没有更简单的办法呢?pandas当然提供了很多高效的操作的函数,继续往下看。

自定义函数 + map

现在,可以使用map来干掉循环(虽然本质上也是循环)

df2 = df.copy()

def mapfun(x):
    if x>90:
        return 'A'
    elif x>=80 and x<90:
        return 'B'
    elif x>=70 and x<80:
        return 'C'
    elif x>=60 and x<70:
        return 'D'
    else:
        return 'E'

df2['Score_Label'] = df2['Score'].map(mapfun)

结果是同样的

Pandas 数据编码的十种方法

自定义函数 + apply

如果还想简洁代码,可以使用自定义函数 + apply来干掉自定义函数

df3 = df.copy()
df3['Score_Label'] = df3['Score'].apply(lambda x: 'A' if x > 90 else (
    'B' if 90 > x >= 80 else ('C' if 80 > x >= 70 else ('D' if 70 > x >= 60 else 'E'))))

结果和上面是一致的,只不过这么写容易被打。

使用 pd.cut

现在,让我们继续了解更高级的pandas函数,依旧是对 Score 进行编码,使用pd.cut,并指定划分的区间后,可以直接帮你分好组

df4 = df.copy()
bins = [0, 59, 70, 80, 100]
df4['Score_Label'] = pd.cut(df4['Score'], bins)

Pandas 数据编码的十种方法

也可以直接使用labels参数来修改对应组的名称,是不是方便多了

df4['Score_Label_new'] = pd.cut(df4['Score'], bins, labels=[
                                'low', 'middle', 'good', 'perfect'])

Pandas 数据编码的十种方法

使用 sklearn 二值化

既然是和机器学习相关,sklearn肯定跑不掉,如果需要新增一列并判定成绩是否及格,就可以使用Binarizer函数,代码也是简洁好懂

df5 = df.copy()
binerize = Binarizer(threshold = 60)
trans = binerize.fit_transform(np.array(df1['Score']).reshape(-1,1))
df5['Score_Label'] = trans

Pandas 数据编码的十种方法

文本型数据

下面介绍更常见的,对文本数据进行转换打标签。例如新增一列,将性别男、女分别标记为0、1

使用 replace

首先介绍replace,但要注意的是,上面说过的自定义函数相关方法依旧是可行的

df6 = df.copy()
df6['Sex_Label'] = df6['Sex'].replace(['Male','Female'],[0,1])

Pandas 数据编码的十种方法

上面是对性别操作,因为只有男女,所以可以手动指定0、1,但要是类别很多,也可以使用pd.value_counts()来自动指定标签,例如对Course Name列分组

df6 = df.copy()
value = df6['Course Name'].value_counts()
value_map = dict((v, i) for i,v in enumerate(value.index))
df6['Course Name_Label'] = df6.replace({'Course Name':value_map})['Course Name']

Pandas 数据编码的十种方法

使用map

额外强调的是,新增一列,一定要能够想到map

df7 = df.copy()
Map = {elem:index for index,elem in enumerate(set(df["Course Name"]))}
df7['Course Name_Label'] = df7['Course Name'].map(Map)

Pandas 数据编码的十种方法

使用astype

这个方法应该很多人不知道,这就属于上面提到的知乎问题,能实现的方法太多了

df8 = df.copy()
value = df8['Course Name'].astype('category')
df8['Course Name_Label'] = value.cat.codes

Pandas 数据编码的十种方法

使用 sklearn

同数值型一样,这种机器学习中的经典操作,sklearn一定有办法,使用LabelEncoder可以对分类数据进行编码

from sklearn.preprocessing import LabelEncoder
df9 = df.copy()
le = LabelEncoder()
le.fit(df9['Sex'])
df9['Sex_Label'] = le.transform(df9['Sex'])
le.fit(df9['Course Name'])
df9['Course Name_Label'] = le.transform(df9['Course Name'])

Pandas 数据编码的十种方法

一次性转换两列也是可以的

df9 = df.copy()
le = OrdinalEncoder()
le.fit(df9[['Sex','Course Name']])
df9[['Sex_Label','Course Name_Label']] = le.transform(df9[['Sex','Course Name']])

使用factorize

最后,再介绍一个小众但好用的pandas方法,我们需要注意到,在上面的方法中,自动生成的Course Name_Label列,虽然一个数据对应一个语言,因为避免写自定义函数或者字典,这样可以自动生成,所以大多是无序的。

如果我们希望它是有序的,也就是 Python 对应 0Java对应1,除了自己指定,还有什么优雅的办法?这时可以使用factorize,它会根据出现顺序进行编码

df10 = df.copy()
df10['Course Name_Label'] = pd.factorize(df10['Course Name'])[0]

Pandas 数据编码的十种方法

结合匿名函数,我们可以做到对多列进行有序编码转换

df10 = df.copy()
cat_columns = df10.select_dtypes(['object']).columns

df10[['Sex_Label', 'Course Name_Label']] = df10[cat_columns].apply(
    lambda x: pd.factorize(x)[0])

Pandas 数据编码的十种方法

总结

至此,我要介绍的十种pandas数据编码的方法就分享完毕,代码拿走修改变量名就能用

现在回到文章开头的问题,如果你觉得pandas用起来很乱,说明你可能还未对pandas有一个全面且彻底的了解。

其实就像本文介绍数据编码转换一样,确实有很多方法可以实现显得很乱,但学习pandas的正确姿势就是应该把它当成字典来学,不必记住所有方法与细节,你只需知道有这么个函数能完成这样操作,需要用时能想到,想到再来查就行。

以上就是Pandas进行数据编码的十种方式总结的详细内容!

Python 相关文章推荐
python登陆asp网站页面的实现代码
Jan 14 Python
Python实现MySQL操作的方法小结【安装,连接,增删改查等】
Jul 12 Python
Python操作csv文件实例详解
Jul 31 Python
python利用paramiko连接远程服务器执行命令的方法
Oct 16 Python
python3实现域名查询和whois查询功能
Jun 21 Python
python3学习之Splash的安装与实例教程
Jul 09 Python
python设定并获取socket超时时间的方法
Jan 12 Python
Python中Numpy ndarray的使用详解
May 24 Python
django 自定义过滤器(filter)处理较为复杂的变量方法
Aug 12 Python
实现Python与STM32通信方式
Dec 18 Python
Python 支持向量机分类器的实现
Jan 15 Python
Python接口开发实现步骤详解
Apr 26 Python
Python读取和写入Excel数据
Python 的演示平台支持 WSGI 接口的应用
Apr 20 #Python
python​格式化字符串
Apr 20 #Python
Python编写冷笑话生成器
Apr 20 #Python
Python Django / Flask如何使用Elasticsearch
Apr 19 #Python
python中mongodb包操作数据库
Apr 19 #Python
Elasticsearch 聚合查询和排序
Apr 19 #Python
You might like
搜索和替换文件或目录的一个好类--很实用
2006/10/09 PHP
php中$_REQUEST、$_POST、$_GET的区别和联系小结
2011/11/23 PHP
PHP中可以自动分割查询字符的Parse_str函数使用示例
2014/07/25 PHP
js 动态选中下拉框
2009/11/26 Javascript
简体中文转换繁体中文(实现代码)
2013/12/25 Javascript
jquery中show()、hide()和toggle()用法实例
2015/01/15 Javascript
node.js express安装及示例网站搭建方法(分享)
2016/08/22 Javascript
原生JS:Date对象全面解析
2016/09/06 Javascript
jQuery向父辈遍历的简单方法
2016/09/18 Javascript
jquery css实现邮箱自动补全
2016/11/14 Javascript
深入理解vue.js中$watch的oldvalue与newValue
2017/08/07 Javascript
原生JS+Canvas实现五子棋游戏
2020/05/28 Javascript
解决vue.js在编写过程中出现空格不规范报错的问题
2017/09/20 Javascript
在vue中实现点击选择框阻止弹出层消失的方法
2018/09/15 Javascript
JS猜数字游戏实例讲解
2020/06/30 Javascript
[00:35]DOTA2上海特级锦标赛 Newbee战队宣传片
2016/03/03 DOTA
python和shell监控linux服务器的详细代码
2018/06/22 Python
Python3 max()函数基础用法
2019/02/19 Python
pandas如何处理缺失值
2019/07/31 Python
Cython编译python为so 代码加密示例
2019/12/23 Python
python爬虫容易学吗
2020/06/02 Python
.img/.hdr格式转.nii格式的操作
2020/07/01 Python
python如何随机生成高强度密码
2020/08/19 Python
HTML5时代CSS设置漂亮字体取代图片
2014/09/04 HTML / CSS
俄罗斯旅游网站:Tripadvisor俄罗斯
2017/03/21 全球购物
Move Free官方海外旗舰店:美国骨关节健康专业品牌
2017/12/06 全球购物
构建高效课堂实施方案
2014/03/13 职场文书
《海底世界》教学反思
2014/04/16 职场文书
出国导师推荐信
2015/03/25 职场文书
医药公司采购员岗位职责
2015/04/03 职场文书
2015年环境监察工作总结
2015/07/23 职场文书
业务员管理制度范本
2015/08/06 职场文书
教你如何使用Python开发一个钉钉群应答机器人
2021/06/21 Python
浅析Redis Sentinel 与 Redis Cluster
2021/06/24 Redis
通过T-SQL语句创建游标与实现数据库加解密功能
2022/03/16 SQL Server
SQL Server删除表中的重复数据
2022/05/25 SQL Server