Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python批量同步web服务器代码核心程序
Sep 01 Python
Python XML RPC服务器端和客户端实例
Nov 22 Python
Python聚类算法之DBSACN实例分析
Nov 20 Python
Python装饰器入门学习教程(九步学习)
Jan 28 Python
Python数据类型详解(二)列表
May 08 Python
完美解决python遍历删除字典里值为空的元素报错问题
Sep 11 Python
Python将一个Excel拆分为多个Excel
Nov 07 Python
python按行读取文件并找出其中指定字符串
Aug 08 Python
使用TensorFlow搭建一个全连接神经网络教程
Feb 06 Python
python不到50行代码完成了多张excel合并的实现示例
May 28 Python
python获取天气接口给指定微信好友发天气预报
Dec 28 Python
python 30行代码实现蚂蚁森林自动偷能量
Feb 08 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
咖啡冲泡指南 咖啡有哪些制作方式 单品咖啡 意式咖啡
2021/03/06 冲泡冲煮
php中计算时间差的几种方法
2009/12/31 PHP
ajax实现无刷新分页(php)
2010/07/18 PHP
PHP使用Pthread实现的多线程操作实例
2015/11/14 PHP
WordPress开发中用于获取近期文章的PHP函数使用解析
2016/01/05 PHP
Add a Table to a Word Document
2007/06/15 Javascript
jQuery validate 中文API 附validate.js中文api手册
2010/07/31 Javascript
js与jquery获取父级元素,子级元素,兄弟元素的实现方法
2014/01/09 Javascript
js 数组去重的四种实用方法
2014/09/09 Javascript
jQuery实现点击后标记当前菜单位置(背景高亮菜单)效果
2015/08/22 Javascript
Javascript模仿淘宝信用评价实例(附源码)
2015/11/26 Javascript
JS实现的颜色实时渐变效果完整实例
2016/03/25 Javascript
Angular学习笔记之angular的$filter服务浅析
2016/11/12 Javascript
快速解决vue动态绑定多个class的官方实例语法无效的问题
2018/09/05 Javascript
Node.js 如何利用异步提升任务处理速度
2019/01/07 Javascript
JS中使用react-tooltip插件实现鼠标悬浮显示框
2019/05/15 Javascript
vue实现表单录入小案例
2019/09/27 Javascript
基于js实现复制内容到操作系统粘贴板过程解析
2019/10/11 Javascript
vue项目使用高德地图的定位及关键字搜索功能的实例代码(踩坑经验)
2020/03/07 Javascript
Vue项目中使用mock.js的完整步骤
2021/01/12 Vue.js
python中 ? : 三元表达式的使用介绍
2013/10/09 Python
Python使用Flask框架获取当前查询参数的方法
2015/03/21 Python
Python图像灰度变换及图像数组操作
2016/01/27 Python
浅谈Python2获取中文文件名的编码问题
2018/01/09 Python
Python利用matplotlib.pyplot绘图时如何设置坐标轴刻度
2018/04/09 Python
Python+pandas计算数据相关系数的实例
2018/07/03 Python
python中栈的原理及实现方法示例
2019/11/27 Python
tensorflow安装成功import tensorflow 出现问题
2020/04/16 Python
python实现与redis交互操作详解
2020/04/21 Python
HTML5移动开发图片压缩上传功能
2016/11/09 HTML / CSS
web页面录屏实现
2019/02/12 HTML / CSS
介绍一下JNDI的基本概念
2013/07/26 面试题
两年的个人工作自我评价
2014/01/10 职场文书
高中教师评语大全
2014/04/25 职场文书
2014年保卫工作总结
2014/12/05 职场文书
2015年工会工作总结范文
2015/07/23 职场文书