Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python中的Classes和Metaclasses详解
Apr 02 Python
Python中__new__与__init__方法的区别详解
May 04 Python
利用python实现xml与数据库读取转换的方法
Jun 17 Python
python记录程序运行时间的三种方法
Jul 14 Python
Python使用matplotlib实现基础绘图功能示例
Jul 03 Python
python实现维吉尼亚加密法
Mar 20 Python
PyQt5 窗口切换与自定义对话框的实例
Jun 20 Python
查看Python依赖包及其版本号信息的方法
Aug 13 Python
python 五子棋如何获得鼠标点击坐标
Nov 04 Python
使用OpenCV-python3实现滑动条更新图像的Canny边缘检测功能
Dec 12 Python
Python语法之精妙的十个知识点(装B语法)
Jan 18 Python
Python3.7安装PyQt5 运行配置Pycharm的详细教程
Oct 15 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
有关 PHP 和 MySQL 时区的一点总结
2008/03/26 PHP
一个PHP的QRcode类与大家分享
2011/11/13 PHP
html静态页面调用php文件的方法
2014/11/13 PHP
PHP通过bypass disable functions执行系统命令的方法汇总
2018/05/02 PHP
JSON无限折叠菜单编写实例
2013/12/16 Javascript
jquery右下角自动弹出可关闭的广告层
2015/05/08 Javascript
jquery实现滑动特效代码
2015/08/10 Javascript
JQuery实现Ajax加载图片的方法
2015/12/24 Javascript
JavaScript中的splice方法用法详解
2016/07/20 Javascript
深入浅析JavaScript中的3DES
2016/08/24 Javascript
js数组操作方法总结(必看篇)
2016/11/22 Javascript
详解React中的组件通信问题
2017/07/31 Javascript
js求数组中全部数字可拼接出的最大整数示例代码
2017/08/25 Javascript
vue axios请求超时的正确处理方法
2018/04/02 Javascript
详解微信小程序input标签正则初体验
2018/08/18 Javascript
分享5个好用的javascript文件上传插件
2018/09/16 Javascript
Vue中强制组件重新渲染的正确方法
2021/01/03 Vue.js
Nodejs 微信小程序消息推送的实现
2021/01/20 NodeJs
[04:11]2014DOTA2国际邀请赛 CIS遗憾出局梦想不灭
2014/07/09 DOTA
详解Python nose单元测试框架的安装与使用
2017/12/20 Python
python实现音乐下载器
2018/04/15 Python
python实现录音小程序
2020/10/26 Python
使用Python实现租车计费系统的两种方法
2018/09/29 Python
selenium使用chrome浏览器测试(附chromedriver与chrome的对应关系表)
2018/11/29 Python
使用IDLE的Python shell窗口实例详解
2019/11/19 Python
dpn网络的pytorch实现方式
2020/01/14 Python
在pycharm中debug 实时查看数据操作(交互式)
2020/06/09 Python
Python中生成ndarray实例讲解
2021/02/22 Python
python 制作本地应用搜索工具
2021/02/27 Python
《乞巧》教学反思
2014/02/27 职场文书
计算机系统管理员求职信
2014/06/20 职场文书
解除同居协议书
2015/01/29 职场文书
2015暑假社会调查报告
2015/07/13 职场文书
2015年征兵工作总结
2015/07/23 职场文书
2016优秀班主任个人先进事迹材料
2016/02/26 职场文书
nginx 反向代理之 proxy_pass的实现
2021/03/31 Servers