Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python如何查看系统网络流量的信息
Sep 12 Python
python调用tcpdump抓包过滤的方法
Jul 18 Python
Python数据类型之Number数字操作实例详解
May 08 Python
Python 中Django安装和使用教程详解
Jul 03 Python
python实现比对美团接口返回数据和本地mongo数据是否一致示例
Aug 09 Python
Python猴子补丁知识点总结
Jan 05 Python
关于Keras模型可视化教程及关键问题的解决
Jan 24 Python
python 数据库查询返回list或tuple实例
May 15 Python
Tensorflow tensor 数学运算和逻辑运算方式
Jun 30 Python
python 判断一组数据是否符合正态分布
Sep 23 Python
Python Http请求json解析库用法解析
Nov 28 Python
python 可视化库PyG2Plot的使用
Jan 21 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
php Hex RGB颜色值互换的使用
2013/05/10 PHP
PHP实现单例模式最安全的做法
2014/06/13 PHP
PHP使用ffmpeg给视频增加字幕显示的方法
2015/03/12 PHP
PHP使用CURL实现多线程抓取网页
2015/04/30 PHP
js代码实现微博导航栏
2015/07/30 PHP
IE和Firefox在JavaScript应用中的兼容性探讨
2008/04/01 Javascript
学习ExtJS Panel常用方法
2009/10/07 Javascript
jQuery中attr()和prop()在修改checked属性时的区别
2014/07/18 Javascript
js行号显示的文本框实现效果(兼容多种浏览器 )
2015/10/23 Javascript
整理Javascript基础语法学习笔记
2015/11/29 Javascript
基于vue.js轮播组件vue-awesome-swiper实现轮播图
2017/03/17 Javascript
JavaScript中在光标处插入添加文本标签节点的详细方法
2017/03/22 Javascript
nodejs Assert中equal(),strictEqual(),deepEqual(),strictDeepEqual()比较
2017/09/18 NodeJs
详解微信小程序中组件通讯
2018/10/30 Javascript
Vue 页面状态保持页面间数据传输的一种方法(推荐)
2018/11/01 Javascript
详解vue数组遍历方法forEach和map的原理解析和实际应用
2018/11/15 Javascript
JS/HTML5游戏常用算法之追踪算法实例详解
2018/12/12 Javascript
Vue实现table上下移动功能示例
2019/02/21 Javascript
小程序点餐界面添加购物车左右摆动动画
2020/09/23 Javascript
[01:14:34]DOTA2上海特级锦标赛C组资格赛#2 LGD VS Newbee第一局
2016/02/28 DOTA
以windows service方式运行Python程序的方法
2015/06/03 Python
python matplotlib库直方图绘制详解
2019/08/10 Python
python构建指数平滑预测模型示例
2019/11/21 Python
关于Pytorch的MLP模块实现方式
2020/01/07 Python
python多线程实现代码(模拟银行服务操作流程)
2020/01/13 Python
python3实现将json对象存入Redis以及数据的导入导出
2020/07/16 Python
HTML5在canvas中绘制复杂形状附效果截图
2014/06/23 HTML / CSS
美国高端寝具品牌:Coyuchi
2017/02/08 全球购物
阿迪达斯法国官方网站:adidas法国
2018/03/20 全球购物
岗位聘任书范文
2014/03/29 职场文书
资助贫困学生倡议书
2014/05/16 职场文书
会议开幕词
2015/01/28 职场文书
2015年房产经纪人工作总结
2015/05/15 职场文书
2015年暑期社会实践总结
2015/07/13 职场文书
初中语文教学反思范文
2016/03/03 职场文书
Python中使用tkFileDialog实现文件选择、保存和路径选择
2022/05/20 Python