Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
可用于监控 mysql Master Slave 状态的python代码
Feb 10 Python
Python修改MP3文件的方法
Jun 15 Python
Python实现堆排序的方法详解
May 03 Python
python正则表达式面试题解答
Apr 28 Python
在python中使用xlrd获取合并单元格的方法
Dec 26 Python
Python简直是万能的,这5大主要用途你一定要知道!(推荐)
Apr 03 Python
python使用MQTT给硬件传输图片的实现方法
May 05 Python
python爬虫之遍历单个域名
Nov 20 Python
python3 字符串知识点学习笔记
Feb 08 Python
keras K.function获取某层的输出操作
Jun 29 Python
基于Django快速集成Echarts代码示例
Dec 01 Python
解决Jupyter-notebook不弹出默认浏览器的问题
Mar 30 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
ThinkPHP基于PHPExcel导入Excel文件的方法
2014/10/15 PHP
php post json参数的传递和接收处理方法
2018/05/31 PHP
Yii2压缩PHP中模板代码的输出问题
2018/08/28 PHP
PDO::lastInsertId讲解
2019/01/29 PHP
浅谈php调用python文件
2019/03/29 PHP
Thinkphp5框架异常处理操作实例分析
2020/06/03 PHP
Javascript 两个窗体之间传值实现代码
2009/09/25 Javascript
不使用中间变量,交换int型的 a, b两个变量的值。
2010/10/29 Javascript
jquery ajax 同步异步的执行 return值不能取得的解决方案
2012/01/08 Javascript
js+css实现的圆角边框TAB选项卡滑动门代码分享(2款)
2015/08/26 Javascript
js实现TAB切换对应不同颜色的代码
2015/08/31 Javascript
javascript结合Flexbox简单实现滑动拼图游戏
2016/02/18 Javascript
AngularJS的Filter的示例详解
2017/03/07 Javascript
深入浅析Nodejs的Http模块
2017/06/20 NodeJs
JS实现页面内跳转的简单代码
2017/09/03 Javascript
Bootstrap一款超好用的前端框架
2017/09/25 Javascript
vue实现消息的无缝滚动效果的示例代码
2017/12/05 Javascript
Vue实现点击后文字变色切换方法
2018/02/11 Javascript
代码分析vue中如何配置less
2018/09/28 Javascript
Vue 实时监听窗口变化 windowresize的两种方法
2018/11/06 Javascript
JavaScrip数组去重操作实例小结
2019/06/20 Javascript
JavaScript 函数用法详解【函数定义、参数、绑定、作用域、闭包等】
2020/05/12 Javascript
Python编程scoketServer实现多线程同步实例代码
2018/01/29 Python
Python多继承顺序实例分析
2018/05/26 Python
centos+nginx+uwsgi+Django实现IP+port访问服务器
2019/11/15 Python
Pycharm连接gitlab实现过程图解
2020/09/01 Python
使用html5 canvas 画时钟代码实例分享
2015/11/11 HTML / CSS
JD Sports法国:英国篮球和运动时尚的领导者
2017/09/28 全球购物
婴儿鞋,独特的婴儿服装和配件:Zutano
2018/11/03 全球购物
生产部厂长职位说明书
2014/03/03 职场文书
秸秆管理实施方案
2014/03/15 职场文书
工业自动化专业自荐信范文
2014/04/10 职场文书
银行反四风对照检查材料
2014/09/29 职场文书
自主招生自荐信格式范文
2015/03/25 职场文书
2015年社区环境卫生工作总结
2015/04/21 职场文书
PostgreSQL出现死锁该如何解决
2022/05/30 PostgreSQL