pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现单词翻译功能
Jun 06 Python
完美解决安装完tensorflow后pip无法使用的问题
Jun 11 Python
对Tensorflow中的矩阵运算函数详解
Jul 27 Python
Python多进程与服务器并发原理及用法实例分析
Aug 21 Python
python实现连续图文识别
Dec 18 Python
更新修改后的Python模块方法
Mar 03 Python
python爬虫简单的添加代理进行访问的实现代码
Apr 04 Python
Django实现微信小程序的登录验证功能并维护登录态
Jul 04 Python
pytorch程序异常后删除占用的显存操作
Jan 13 Python
python GUI库图形界面开发之PyQt5信号与槽多窗口数据传递详细使用方法与实例
Mar 08 Python
Django REST framwork的权限验证实例
Apr 02 Python
Python SQLAlchemy库的使用方法
Oct 13 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
Discuz!下Memcache缓存实现方法
2010/05/28 PHP
php数组去重实例及分析
2013/11/26 PHP
php实现的返回数据格式化类实例
2014/09/22 PHP
使用php自动备份数据库表的实现方法
2017/07/28 PHP
jQuery调用WebService的实现代码
2011/06/19 Javascript
JQuery AJAX 中文乱码问题解决
2013/06/05 Javascript
在线所见即所得HTML编辑器的实现原理浅析
2015/04/25 Javascript
JS实现可直接显示网页代码运行效果的HTML代码预览功能实例
2015/08/06 Javascript
Jquery+Ajax+PHP+MySQL实现分类列表管理(上)
2015/10/28 Javascript
浅析JavaScript中命名空间namespace模式
2016/06/22 Javascript
Easyui使用Dialog行内按钮布局的实例
2017/07/27 Javascript
Webpack优化配置缩小文件搜索范围
2017/12/25 Javascript
angular 内存溢出的问题解决
2018/07/12 Javascript
发布一款npm包帮助理解npm的使用
2019/01/03 Javascript
用Python的线程来解决生产者消费问题的示例
2015/04/02 Python
python操作sqlite的CRUD实例分析
2015/05/08 Python
最大K个数问题的Python版解法总结
2016/06/16 Python
浅析python参数的知识点
2018/12/10 Python
PyQt5的PyQtGraph实践系列3之实时数据更新绘制图形
2019/05/13 Python
pandas的排序和排名的具体使用
2019/07/31 Python
python 进程间数据共享multiProcess.Manger实现解析
2019/09/23 Python
VSCode基础使用与VSCode调试python程序入门的图文教程
2020/03/30 Python
用python实现一个简单的验证码
2020/12/09 Python
H5混合开发app如何升级的方法
2018/01/10 HTML / CSS
英国Lookfantastic中文网站:护肤品美妆美发购物(英国直邮)
2020/04/27 全球购物
数据库专业英语
2012/11/30 面试题
计算机专业毕业生的自我评价
2013/11/18 职场文书
白酒业务员岗位职责
2013/12/27 职场文书
1亿有多大教学反思
2014/05/01 职场文书
地理信息科学专业推荐信
2014/09/08 职场文书
社区服务活动报告
2015/02/05 职场文书
求职简历自荐信怎么写
2015/03/26 职场文书
优秀团员主要事迹材料
2015/11/05 职场文书
使用php的mail()函数实现发送邮件功能
2021/06/03 PHP
MySQL 自动填充 create_time 和 update_time
2022/05/20 MySQL
mysql 排序失效
2022/05/20 MySQL