Pandas 合并多个Dataframe(merge,concat)的方法


Posted in Python onJune 08, 2018

在数据处理的时候,尤其在搞大数据竞赛的时候经常会遇到一个问题就是,多个表单的合并问题,比如一个表单有user_id和age这两个字段,另一个表单有user_id和sex这两个字段,要把这两个表合并成只有user_id、age、sex三个字段的表怎么办的,普通的拼接是做不到的,因为user_id每一行之间不是对应的,像拼积木似的横向拼接肯定是不行的。

pandas中有个merge函数可以做到这个实用的功能,merge这个词会点SQL语言的应该都不陌生。

下面说说merge函数怎么用:

df = pd.merge(df1, df2, how='left', on='user_id')

用法很简单,说一下后两个参数就可以了,how=""参数表示以哪个表的key为准,上面的how="left"表示以表df1为准,而key也就是on=""的参数

how="left"就是说,保留user_id字段的全部信息,不增加也不减少,但是拼接的时候只把df2表中的与df1中user_id字段交集的部分合并上就可以了,如果df2中出现了某个user_id在df1中没有出现,就抛弃掉这个样本不作处理。

如果要进行多key合并:

df = pd.merge(df1, df2, how='left', on=['user_id','sku_id'])

但是如果想仅进行简单的“拼接”而不是合并呢,要使用concat函数:

df = pd.concat( [df_user, dummies_sex, dummies_age, dummies_level], axis=1 )

这样可以保留这些表单的全部信息,参数axis=1表示列拼接,axis=0表示行拼接。

要保证背个表单的行数是相同的,并且每一行对应的key也是相同的,列拼接才变得有意义

以上这篇Pandas 合并多个Dataframe(merge,concat)的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python操作MySQL简单实现方法
Jan 26 Python
python查看zip包中文件及大小的方法
Jul 09 Python
Python中使用platform模块获取系统信息的用法教程
Jul 08 Python
Python 实现 贪吃蛇大作战 代码分享
Sep 07 Python
tensorflow 使用flags定义命令行参数的方法
Apr 23 Python
Django Web开发中django-debug-toolbar的配置以及使用
May 06 Python
在Python函数中输入任意数量参数的实例
Jul 16 Python
Python log模块logging记录打印用法解析
Jan 20 Python
Python中文分词库jieba,pkusegwg性能准确度比较
Feb 11 Python
10个示例带你掌握python中的元组
Nov 23 Python
解决PDF 转图片时丢文字的一种可能方式
Mar 04 Python
Python数据清洗工具之Numpy的基本操作
Apr 22 Python
使用pandas对两个dataframe进行join的实例
Jun 08 #Python
pandas带有重复索引操作方法
Jun 08 #Python
使用python爬取B站千万级数据
Jun 08 #Python
pandas表连接 索引上的合并方法
Jun 08 #Python
详谈Pandas中iloc和loc以及ix的区别
Jun 08 #Python
python实现人人自动回复、抢沙发功能
Jun 08 #Python
利用Python写一个爬妹子的爬虫
Jun 08 #Python
You might like
.htaccess文件保护实例讲解
2011/02/06 PHP
php自动加载autoload机制示例分享
2014/02/20 PHP
php获取客户端电脑屏幕参数的方法
2015/01/09 PHP
PHP输出九九乘法表代码实例
2015/03/27 PHP
php session的锁和并发
2016/01/22 PHP
PHP获取当前文件的父目录方法汇总
2016/07/21 PHP
总结PHP中数值计算的注意事项
2016/08/14 PHP
PHP基于方差和标准差计算学生成绩的稳定性示例
2017/07/04 PHP
JavaScript的面向对象(一)
2006/11/09 Javascript
基于jquery的finkyUI插件与Ajax实现页面数据加载功能
2010/12/03 Javascript
javascript各浏览器中option元素的表现差异
2011/04/07 Javascript
js控制淡入淡出示例代码
2013/11/12 Javascript
Node.js静态文件服务器改进版
2016/01/10 Javascript
jQuery Mobile开发中日期插件Mobiscroll使用说明
2016/03/02 Javascript
PhotoSwipe异步动态加载图片方法
2016/08/25 Javascript
angular基于路由控制ui-router实现系统权限控制
2016/09/27 Javascript
基于javascript的Form表单验证
2016/12/29 Javascript
ionic3 懒加载
2017/08/16 Javascript
vue-awesome-swiper滑块插件使用方法详解
2017/11/27 Javascript
基于JS实现前端压缩上传图片的实例代码
2019/05/14 Javascript
[06:04]DOTA2英雄梦之声Vol19卓尔游侠
2014/06/20 DOTA
在Python中使用gRPC的方法示例
2018/08/08 Python
详解python中的Turtle函数库
2018/11/19 Python
Python输出\u编码将其转换成中文的实例
2018/12/15 Python
Python实现Mysql数据统计及numpy统计函数
2019/07/15 Python
CSS3 translate导致字体模糊的实例代码
2019/08/30 HTML / CSS
移动端html5模拟长按事件的实现方法
2018/09/30 HTML / CSS
Sofft鞋官网:世界知名鞋类品牌
2017/03/28 全球购物
Missguided美国官网:英国时尚品牌
2018/01/18 全球购物
实习生自荐信范文分享
2013/11/27 职场文书
跟单文员岗位职责
2014/01/03 职场文书
学生会主席事迹材料
2014/01/28 职场文书
品质主管岗位职责
2014/03/16 职场文书
委托公证书范本
2014/04/03 职场文书
Python下载商品数据并连接数据库且保存数据
2022/03/31 Python
python游戏开发之pygame实现接球小游戏
2022/04/22 Python