Python实现文本文件拆分写入到多个文本文件的方法


Posted in Python onApril 18, 2021

引言

将一个txt文本文件中的内容行拆分固定的行数,自动分批写入到多个文本文件。
比如:一个源txt文件有5100行数据,每1000行插入到一个txt文件,最后获得6个txt文件(5个文本文件有1000行数据,第6个文本文件有100行数据)。

步骤

1、先建立一个目录用于存放分割后的txt文件(这里的目录名为:dataText)
2、修改拆分的数目(这里是每5000行数据存入一个txt文件)
3、运行python文件,查看生成的txt文件

代码

open_diff = open('data.txt', 'r') # 源文本文件
diff_line = open_diff.readlines()

line_list = []
for line in diff_line:
    line_list.append(line)

count = len(line_list) # 文件行数
print('源文件数据行数:',count)
# 切分diff
diff_match_split = [line_list[i:i+5000] for i in range(0,len(line_list),5000)]# 每个文件的数据行数

# 将切分的写入多个txt中
for i,j in zip(range(0,int(count/5000+1)),range(0,int(count/5000+1))): # 写入txt,计算需要写入的文件数
    with open('./dataText/ImageData%d.txt'% j,'w+') as temp:
        for line in diff_match_split[i]:
            temp.write(line)
print('拆分后文件的个数:',i+1)

结果

Python实现文本文件拆分写入到多个文本文件的方法

Python实现文本文件拆分写入到多个文本文件的方法

应用:

将txt文件中的数据拆分成多个文本文件,可以解决由于文本文件数据过大而无法导入某些软件的问。

这里是将一个url文本文件(约15M)导入idm下载url中的内容,但由于文本文件过大,数据量过多,就拆分成多个文本文件分批次导入idm。

注意:
1、程序中的5000为写入每个文件的数据行数,最后一个文件的行数不足5000,也用一个文本文件存储。
2、根据需要,修改存储数据的行数(两个地方的5000都需要修改)。

到此这篇关于Python实现文本文件拆分写入到多个文本文件的方法的文章就介绍到这了,更多相关Python 文本文件拆分内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现的udp协议Server和Client代码实例
Jun 04 Python
python对字典进行排序实例
Sep 25 Python
python采用getopt解析命令行输入参数实例
Sep 30 Python
在Python中居然可以定义两个同名通参数的函数
Jan 31 Python
Python玩转PDF的各种骚操作
May 06 Python
使用python远程操作linux过程解析
Dec 04 Python
tensorflow 限制显存大小的实现
Feb 03 Python
python ImageDraw类实现几何图形的绘制与文字的绘制
Feb 26 Python
pycharm中import呈现灰色原因的解决方法
Mar 04 Python
关于python 跨域处理方式详解
Mar 28 Python
Python importlib模块重载使用方法详解
Oct 13 Python
用OpenCV进行年龄和性别检测的实现示例
Jan 29 Python
python批量更改目录名/文件名的方法
Apr 18 #Python
python解决12306登录验证码的实现
django注册用邮箱发送验证码的实现
Apr 18 #Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 #Python
python3 实现mysql数据库连接池的示例代码
Python如何利用正则表达式爬取网页信息及图片
Apr 17 #Python
python中sys模块的介绍与实例
Apr 17 #Python
You might like
第六章 php目录与文件操作
2011/12/30 PHP
thinkPHP数据查询常用方法总结【select,find,getField,query】
2017/03/15 PHP
PHP封装的PDO数据库操作类实例
2017/06/21 PHP
PHP的mysqli_thread_id()函数讲解
2019/01/24 PHP
PHP基于array_unique实现二维数组去重
2020/07/14 PHP
网站被黑的假象--ARP欺骗之页面中加入一段js
2007/05/16 Javascript
实现web打印的各种方法介绍及实现代码
2013/01/09 Javascript
使用js修改客户端注册表的方法
2013/08/09 Javascript
js控制table合并具体实现
2014/02/20 Javascript
编写高效jQuery代码的4个原则和5个技巧
2014/04/24 Javascript
高性能JavaScript模板引擎实现原理详解
2015/02/05 Javascript
js实现div层缓慢收缩与展开的方法
2015/05/11 Javascript
JavaScript_ECMA5数组新特性详解
2016/06/12 Javascript
js日期相关函数dateAdd,dateDiff,dateFormat等介绍
2016/09/24 Javascript
Bootstrap警告(Alerts)的实现方法
2017/03/22 Javascript
你有必要知道的10个JavaScript难点
2017/07/25 Javascript
实例解析Vue.js下载方式及基本概念
2018/05/11 Javascript
vuex 解决报错this.$store.commit is not a function的方法
2018/12/17 Javascript
jquery操作select常见方法大全【7种情况】
2019/05/28 jQuery
JavaScript:ES2019 的新特性(译)
2019/08/08 Javascript
浅析js实现网页截图的两种方式
2019/11/01 Javascript
5分钟快速看懂ES6中的反射与代理
2019/12/19 Javascript
webpack打包html里面img后src为“[object Module]”问题
2019/12/22 Javascript
js实现圆形显示鼠标单击位置
2020/02/11 Javascript
JS数组扁平化、去重、排序操作实例详解
2020/02/24 Javascript
swiper实现导航滚动效果
2020/12/13 Javascript
python遍历文件夹并删除特定格式文件的示例
2014/03/05 Python
Python实现程序的单一实例用法分析
2015/06/03 Python
Python实现感知器模型、两层神经网络
2017/12/19 Python
python实现多线程网页下载器
2018/04/15 Python
Python使用docx模块实现刷题功能代码
2020/02/13 Python
html5 sessionStorage会话存储_动力节点Java学院整理
2017/07/06 HTML / CSS
日本民宿预约平台:STAY JAPAN
2017/07/01 全球购物
美国最大的购物网站:Amazon.com(亚马逊美国)
2020/05/23 全球购物
人事行政经理岗位职责
2014/06/18 职场文书
领导干部个人对照检查材料(群众路线)
2014/09/26 职场文书