Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python 捕获shell脚本的输出结果实例
Jan 04 Python
Python 获得命令行参数的方法(推荐)
Jan 24 Python
python实现图书管理系统
Mar 12 Python
Python实现多线程的两种方式分析
Aug 29 Python
python导入不同目录下的自定义模块过程解析
Nov 18 Python
详解从Django Allauth中进行登录改造小结
Dec 18 Python
Pytorch 多块GPU的使用详解
Dec 31 Python
python GUI库图形界面开发之PyQt5多线程中信号与槽的详细使用方法与实例
Mar 08 Python
Python matplotlib实时画图案例
Apr 23 Python
解决python运行效率不高的问题
Jul 20 Python
Python基于traceback模块获取异常信息
Jul 23 Python
Pandas直接读取sql脚本的方法
Jan 21 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
PHP删除指定目录中的所有目录及文件的方法
2015/02/26 PHP
[原创]php逐行读取txt文件写入数组的方法
2015/07/02 PHP
win7 wamp 64位 php环境开启curl服务遇到的问题及解决方法
2018/09/16 PHP
jQuery 使用手册(一)
2009/09/23 Javascript
javascript 在网页中的运用(asp.net)
2009/11/23 Javascript
JavaScript模板入门介绍
2012/09/26 Javascript
JS实现页面超时后自动跳转到登陆页面
2015/01/19 Javascript
jQuery中ready事件用法实例
2015/01/19 Javascript
JavaScript将Web页面内容导出到Word及Excel的方法
2015/02/13 Javascript
简介JavaScript中Math.LOG10E属性的使用
2015/06/14 Javascript
JS实现按比例缩放图片的方法(附C#版代码)
2015/12/08 Javascript
ECMAScript6快速入手攻略
2016/07/18 Javascript
javascript帧动画(实例讲解)
2017/09/02 Javascript
javascript基础进阶_深入剖析执行环境及作用域链
2017/09/05 Javascript
nodejs微信扫码支付功能实现
2018/02/17 NodeJs
浅谈js闭包理解
2019/03/28 Javascript
详解JavaScript的内存空间、赋值和深浅拷贝
2019/04/17 Javascript
浅析vue-cli3配置webpack-bundle-analyzer插件【推荐】
2019/10/23 Javascript
JavaScript实现猜数字游戏
2020/05/20 Javascript
Python语言实现获取主机名根据端口杀死进程
2016/03/31 Python
Python爬虫利用cookie实现模拟登陆实例详解
2017/01/12 Python
Python 基础之字符串string详解及实例
2017/04/01 Python
Django框架多表查询实例分析
2018/07/04 Python
用Python将mysql数据导出成json的方法
2018/08/21 Python
Django REST framework 分页的实现代码
2019/06/19 Python
django项目登录中使用图片验证码的实现方法
2019/08/15 Python
使用Django搭建一个基金模拟交易系统教程
2019/11/18 Python
django框架中间件原理与用法详解
2019/12/10 Python
python 代码运行时间获取方式详解
2020/09/18 Python
详解pandas中利用DataFrame对象的.loc[]、.iloc[]方法抽取数据
2020/12/13 Python
美国最便宜的旅游网站:CheapTickets
2017/07/09 全球购物
银行员工职业规划范文
2014/01/21 职场文书
公司委托书范本5篇
2014/09/20 职场文书
介绍信怎么写
2015/01/30 职场文书
叶问观后感
2015/06/15 职场文书
小学大队委竞选口号
2015/12/25 职场文书