pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中函数的用法实例教程
Sep 08 Python
Python实现115网盘自动下载的方法
Sep 30 Python
Python通过90行代码搭建一个音乐搜索工具
Jul 29 Python
python实现二分查找算法
Sep 21 Python
python虚拟环境virtualenv的使用教程
Oct 20 Python
[原创]教女朋友学Python(一)运行环境搭建
Nov 29 Python
读取本地json文件,解析json(实例讲解)
Dec 06 Python
python使用jieba实现中文分词去停用词方法示例
Mar 11 Python
Mac 使用python3的matplot画图不显示的解决
Nov 23 Python
浅谈python输出列表元素的所有排列形式
Feb 26 Python
基于TensorFlow的CNN实现Mnist手写数字识别
Jun 17 Python
5分钟快速掌握Python定时任务框架的实现
Jan 26 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
discuz程序的PHP加密函数原理分析
2011/08/05 PHP
PHP+ajaxfileupload+jcrop插件完美实现头像上传剪裁
2014/06/09 PHP
一步一步教你写一个jQuery的插件教程(Plugin)
2009/09/03 Javascript
js下获得客户端操作系统的函数代码(1:vista,2:windows7,3:2000,4:xp,5:2003,6:2008)
2011/10/31 Javascript
Jquery读取URL参数小例子
2013/08/30 Javascript
css+js实现部分区域高亮可编辑遮罩层
2014/03/04 Javascript
javascript实现随时变化着的背景颜色
2015/04/02 Javascript
JQuery Mobile 弹出式登录框的实现方法
2016/05/28 Javascript
JavaScript从0开始构思表情插件
2016/07/26 Javascript
ExtJS 4.2 Grid组件单元格合并的方法
2016/10/12 Javascript
解析Angular 2+ 样式绑定方式
2018/01/15 Javascript
jquery radio 动态控制选中失效问题的解决方法
2018/02/28 jQuery
React props和state属性的具体使用方法
2018/04/12 Javascript
安装Node.js并启动本地服务的操作教程
2018/05/12 Javascript
layui问题之渲染数据表格时,仅出现10条数据的解决方法
2019/09/12 Javascript
vue实现路由监听和参数监听
2019/10/29 Javascript
JavaScript原生数组函数实例汇总
2020/10/14 Javascript
[00:50]2014DOTA2国际邀请赛 NEWBEE战队回顾
2014/08/01 DOTA
[54:45]2018DOTA2亚洲邀请赛 4.1 小组赛 A组 Optic vs OG
2018/04/02 DOTA
Python实现树的先序、中序、后序排序算法示例
2017/06/23 Python
Python面向对象编程基础解析(一)
2017/10/26 Python
Python使用matplotlib绘制多个图形单独显示的方法示例
2018/03/14 Python
python3实现163邮箱SMTP发送邮件
2018/05/22 Python
Python http接口自动化测试框架实现方法示例
2018/12/06 Python
python+mysql实现学生信息查询系统
2019/02/21 Python
Python中使用遍历在列表中添加字典遇到的坑
2019/02/27 Python
如何利用Anaconda配置简单的Python环境
2019/06/24 Python
在TensorFlow中屏蔽warning的方式
2020/02/04 Python
HTML5+JS实现俄罗斯方块原理及具体步骤
2013/11/29 HTML / CSS
Canvas 像素处理之改变透明度的实现代码
2019/01/08 HTML / CSS
捷克母婴用品购物网站:Feedo.cz
2020/12/28 全球购物
信息管理员岗位职责
2013/12/01 职场文书
幼儿园家长寄语
2014/04/02 职场文书
电气工程及其自动化专业求职信
2014/06/23 职场文书
2014年小学少先队工作总结
2014/12/18 职场文书
2015年秋季运动会加油稿
2015/07/22 职场文书