pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
把项目从Python2.x移植到Python3.x的经验总结
Apr 20 Python
Python处理命令行参数模块optpars用法实例分析
May 31 Python
详解pytorch 0.4.0迁移指南
Jun 16 Python
python 实现将list转成字符串,中间用空格隔开
Dec 25 Python
python ImageDraw类实现几何图形的绘制与文字的绘制
Feb 26 Python
使用Python对Dicom文件进行读取与写入的实现
Apr 20 Python
Django微信小程序后台开发教程的实现
Jun 03 Python
Python 解析库json及jsonpath pickle的实现
Aug 17 Python
利用python实现汉诺塔游戏
Mar 01 Python
python删除csv文件的行列
Apr 06 Python
Python还能这么玩之用Python修改了班花的开机密码
Jun 04 Python
端午节将至,用Python爬取粽子数据并可视化,看看网友喜欢哪种粽子吧!
Jun 11 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
php相当简单的分页类
2008/10/02 PHP
PHP Header失效的原因分析及解决方法
2016/11/16 PHP
php 生成加密公钥加密私钥实例详解
2017/06/16 PHP
List the Codec Files on a Computer
2007/06/18 Javascript
javascript hasFocus使用实例
2010/06/29 Javascript
js null,undefined,字符串小结
2010/08/21 Javascript
js 限制数字 js限制输入实现代码
2012/12/04 Javascript
jquery多行滚动/向左或向上滚动/响应鼠标实现思路及代码
2013/01/23 Javascript
js简易namespace管理器 实例代码
2013/06/21 Javascript
jQuery中delegate和on的用法与区别详细解析
2014/01/26 Javascript
JavaScript对IE操作的经典代码(推荐)
2014/03/10 Javascript
jquery 遍历数组 each 方法详解
2016/05/25 Javascript
smartupload实现文件上传时获取表单数据(推荐)
2016/12/12 Javascript
JavaScript实现打地鼠小游戏
2020/04/23 Javascript
JS实现匀加速与匀减速运动的方法示例
2017/09/04 Javascript
详解JavaScript中的六种错误类型
2017/09/21 Javascript
NodeJS爬虫实例之糗事百科
2017/12/14 NodeJs
微信小程序如何像vue一样在动态绑定类名
2018/04/17 Javascript
浅谈使用mpvue开发小程序需要注意和了解的知识点
2018/05/23 Javascript
vue 进阶之实现父子组件间的传值
2019/04/26 Javascript
Vue + ts实现轮播插件的示例
2020/11/10 Javascript
[07:59]2014DOTA2叨叨刀塔 林熊猫称被邀请赛现场盛况震撼
2014/07/21 DOTA
Python3 虚拟开发环境搭建过程(图文详解)
2020/01/06 Python
Python环境配置实现pip加速过程解析
2020/11/27 Python
python爬虫破解字体加密案例详解
2021/03/02 Python
CSS3动画特效在活动页中的应用
2020/01/21 HTML / CSS
教育专业自荐书范文
2013/12/17 职场文书
会计专业自我评价
2014/02/12 职场文书
经典婚礼主持词
2014/03/13 职场文书
试用期自我鉴定范文
2014/03/20 职场文书
安全检查汇报材料
2014/12/26 职场文书
学校百日安全活动总结
2015/05/07 职场文书
基石观后感
2015/06/12 职场文书
小学班主任工作随笔
2015/08/15 职场文书
解读MySQL的客户端和服务端协议
2021/05/10 MySQL
Java后台生成图片的完整步骤
2021/08/04 Java/Android