Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python连接oracle数据库实例
Oct 17 Python
Python实现批量修改文件名实例
Jul 08 Python
在Django的URLconf中使用命名组的方法
Jul 18 Python
Python实现HTTP协议下的文件下载方法总结
Apr 20 Python
简单学习Python time模块
Apr 29 Python
解决Tensorflow使用pip安装后没有model目录的问题
Jun 13 Python
python 简单照相机调用系统摄像头实现方法 pygame
Aug 03 Python
python并发和异步编程实例
Nov 15 Python
Python机器学习之scikit-learn库中KNN算法的封装与使用方法
Dec 14 Python
PyTorch的SoftMax交叉熵损失和梯度用法
Jan 15 Python
SpringBoot实现登录注册常见问题解决方案
Mar 04 Python
Pandas替换及部分替换(replace)实现流程详解
Oct 12 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
PHP 5.3新特性命名空间规则解析及高级功能
2010/03/11 PHP
php中异常处理方法小结
2015/01/09 PHP
php求一个网段开始与结束IP地址的方法
2015/07/09 PHP
Avengerls vs KG BO3 第三场2.18
2021/03/10 DOTA
javascript奇异的arguments分析
2010/10/20 Javascript
说明你的Javascript技术很烂的五个原因
2011/04/26 Javascript
Jquery Validate 正则表达式实用验证代码大全
2013/08/23 Javascript
js如何获取兄弟、父类等节点
2014/01/06 Javascript
JS获得浏览器版本和操作系统版本的例子
2014/05/13 Javascript
5个书写JavaScript代码的坏习惯,看看你中枪了没?
2014/11/06 Javascript
node.js中的favicon.ico请求问题处理
2014/12/15 Javascript
jQuery中ajax的post()方法用法实例
2014/12/26 Javascript
js表头排序实现方法
2015/01/16 Javascript
jQuery基于图层模仿五星星评价功能的方法
2015/05/07 Javascript
简述Jquery与DOM对象
2015/07/10 Javascript
探讨JavaScript中的Rest参数和参数默认值
2015/07/29 Javascript
使用jQuery操作HTML的table表格的实例解析
2016/03/13 Javascript
概述VUE2.0不可忽视的很多变化
2016/09/25 Javascript
Node.js检测端口(port)是否被占用的简单示例
2016/09/29 Javascript
2种在vue项目中使用百度地图的简单方法
2018/09/28 Javascript
Python中的默认参数详解
2015/06/24 Python
Python Pillow Image Invert
2019/01/22 Python
在Pycharm中使用GitHub的方法步骤
2019/06/13 Python
python基于opencv检测程序运行效率
2019/12/28 Python
Django DRF APIView源码运行流程详解
2020/08/17 Python
css3和jquery实现的可折叠导航菜单适合放在手机网页的导航菜单
2014/09/02 HTML / CSS
创建索引时需要注意的事项
2013/05/13 面试题
车间统计员岗位职责
2014/01/05 职场文书
大学生未来职业生涯规划书
2014/02/15 职场文书
水利水电专业自荐信
2014/07/08 职场文书
2014校长四风问题对照检查材料思想汇报
2014/09/16 职场文书
护士岗位竞聘书
2015/09/15 职场文书
详解RedisTemplate下Redis分布式锁引发的系列问题
2021/04/27 Redis
MySQL的索引你了解吗
2022/03/13 MySQL
nginx 配置指令之location使用详解
2022/05/25 Servers
JavaScript实现一键复制内容剪贴板
2022/07/23 Javascript