Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python打印斐波拉契数列实例
Jul 07 Python
Centos Python2 升级到Python3的简单实现
Jun 21 Python
Python探索之修改Python搜索路径
Oct 25 Python
python导出hive数据表的schema实例代码
Jan 22 Python
flask-socketio实现WebSocket的方法
Jul 31 Python
python查找指定文件夹下所有文件并按修改时间倒序排列的方法
Oct 21 Python
python判断列表的连续数字范围并分块的方法
Nov 16 Python
python抖音表白程序源代码
Apr 07 Python
Python实现性能自动化测试竟然如此简单
Jul 30 Python
Python自动化导出zabbix数据并发邮件脚本
Aug 16 Python
基于tensorflow指定GPU运行及GPU资源分配的几种方式小结
Feb 03 Python
Python OpenCV 彩色与灰度图像的转换实现
Jun 05 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
PHP变量的定义、可变变量、变量引用、销毁方法
2013/12/20 PHP
简单实用的网站PHP缓存类实例
2014/07/18 PHP
PHP模拟asp中response类实现方法
2015/08/08 PHP
php session 写入数据库
2016/02/13 PHP
PHP GD库相关图像生成和处理函数小结
2016/09/30 PHP
thinkphp自定义权限管理之名称判断方法
2017/04/01 PHP
php实现头像上传预览功能
2017/04/27 PHP
JS自动缩小超出大小的图片
2012/10/12 Javascript
使用简洁的jQuery方法实现隔行换色功能
2014/01/02 Javascript
jquery实现类似淘宝星星评分功能有截图
2014/09/15 Javascript
使用jQuery实现input数值增量和减量的方法
2015/01/24 Javascript
jquery+html5制作超酷的圆盘时钟表
2015/04/14 Javascript
12个非常实用的JavaScript小技巧【推荐】
2016/05/18 Javascript
jQuery EasyUI基础教程之EasyUI常用组件(推荐)
2016/07/15 Javascript
vue.js实现格式化时间并每秒更新显示功能示例
2018/07/07 Javascript
JS中实现隐藏部分姓名或者电话号码的代码
2018/07/17 Javascript
用node.js写一个jenkins发版脚本
2019/05/21 Javascript
js实现页面多个日期时间倒计时效果
2019/06/20 Javascript
vue组件开发之slider组件使用详解
2020/08/21 Javascript
Python常用模块用法分析
2014/09/08 Python
利用Python查看目录中的文件示例详解
2017/08/28 Python
详解python3类型注释annotations实用案例
2021/01/20 Python
pycharm进入时每次都是insert模式的解决方式
2021/02/05 Python
HTML5 window/iframe跨域传递消息 API介绍
2013/08/26 HTML / CSS
世界最大的私人旅行指南出版商:孤独星球
2016/08/23 全球购物
Clarks英国官方网站:全球领军鞋履品牌
2016/11/26 全球购物
中国专业的音频分享平台:喜马拉雅
2019/05/24 全球购物
AutoShack.com加拿大:北美主要的汽车零部件零售商
2019/07/24 全球购物
英国电子专家:maplin
2019/09/04 全球购物
高级销售员求职信
2013/10/25 职场文书
房地产财务管理制度
2014/02/02 职场文书
公司承诺书怎么写
2014/05/24 职场文书
不服从上级领导安排的检讨书
2014/09/14 职场文书
写给同学的新学期寄语
2015/02/27 职场文书
毕业典礼主持词
2015/06/29 职场文书
教师研修随笔感言
2015/11/18 职场文书