Python 逐行分割大txt文件的方法


Posted in Python onOctober 10, 2017

代码如下所示:

# -*- coding: <encoding name> -*-
import io
LIMIT = 150000
file_count = 0
url_list = []
with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as f:
  for line in f:
    url_list.append(line)
    if len(url_list) < LIMIT:
      continue
    file_name = str(file_count)+".sql"
    with io.open(file_name,'w',encoding='utf-16') as file:
      for url in url_list[:-1]:
        file.write(url)
      file.write(url_list[-1].strip())
      url_list=[]
      file_count+=1
if url_list:
  file_name = str(file_count) + ".sql"
  with io.open(file_name,'w',encoding='utf-16') as file:
    for url in url_list:
      file.write(url)
print('done')

Python从txt文件中逐行读取数据

非常的简单,提供三种方法:

方法一:

f = open("foo.txt")       # 返回一个文件对象 
line = f.readline()       # 调用文件的 readline()方法 
while line: 
  print line,         # 后面跟 ',' 将忽略换行符 
  # print(line, end = '') # 在 Python 3中使用 
  line = f.readline() 
 
f.close()

方法二:

for line in open("foo.txt"): 
  print line,

方法三:

f = open("c:\\1.txt","r") 
lines = f.readlines()#读取全部内容 
for line in lines 
  print line

总结

以上所述是小编给大家介绍的Python 逐行分割大txt文件,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python+matplotlib实现填充螺旋实例
Jan 15 Python
python3实现指定目录下文件sha256及文件大小统计
Feb 25 Python
使用Python和Scribus创建一个RGB立方体的方法
Jul 17 Python
基于Python的图像数据增强Data Augmentation解析
Aug 13 Python
python实现网站微信登录的示例代码
Sep 18 Python
python之array赋值技巧分享
Nov 28 Python
python opencv如何实现图片绘制
Jan 19 Python
django修改models重建数据库的操作
Mar 31 Python
Keras搭建自编码器操作
Jul 03 Python
Django启动时找不到mysqlclient问题解决方案
Nov 11 Python
4种非常实用的python内置数据结构
Apr 28 Python
pytorch常用数据类型所占字节数对照表一览
May 17 Python
Python输出带颜色的字符串实例
Oct 10 #Python
python中使用正则表达式的连接符示例代码
Oct 10 #Python
python利用正则表达式排除集合中字符的功能示例
Oct 10 #Python
python 上下文管理器使用方法小结
Oct 10 #Python
python中如何使用正则表达式的集合字符示例
Oct 09 #Python
python中如何使用正则表达式的非贪婪模式示例
Oct 09 #Python
Python 多进程和数据传递的理解
Oct 09 #Python
You might like
PHP中替换键名的简易方法示例详解
2014/01/07 PHP
PHP实现简单的新闻发布系统实例
2015/07/28 PHP
Yii实现简单分页的方法
2016/04/29 PHP
PHP面试常用算法(推荐)
2016/07/22 PHP
Jquery中获取iframe的代码
2011/01/11 Javascript
SuperSlide标签切换、焦点图多种组合插件
2015/03/14 Javascript
使用ES6语法重构React代码详解
2017/05/09 Javascript
vue-lazyload图片延迟加载插件的实例讲解
2018/02/09 Javascript
小程序开发基础之view视图容器
2018/08/21 Javascript
通过扫小程序码实现网站登陆功能
2019/08/22 Javascript
从零学python系列之教你如何根据图片生成字符画
2014/05/23 Python
Python从MP3文件获取id3的方法
2015/06/15 Python
Win10下Python3.7.3安装教程图解
2019/07/08 Python
使用Python制作表情包实现换脸功能
2019/07/19 Python
Pytorch在dataloader类中设置shuffle的随机数种子方式
2020/01/14 Python
Keras中 ImageDataGenerator函数的参数用法
2020/07/03 Python
使用Python实现音频双通道分离
2020/12/25 Python
接待员岗位责任制
2014/02/10 职场文书
《颐和园》教学反思
2014/02/26 职场文书
护士感人事迹
2014/05/01 职场文书
迎七一演讲稿
2014/09/12 职场文书
2014企业领导班子四风对照检查材料思想汇报
2014/09/17 职场文书
小学假期安全广播稿
2014/09/28 职场文书
四风批评与自我批评发言稿
2014/10/14 职场文书
2014年政风行风自查自纠报告
2014/10/21 职场文书
学生会生活部工作总结2015
2015/03/31 职场文书
高中生军训感言
2015/08/01 职场文书
预备党员入党感想
2015/08/10 职场文书
小学安全教育主题班会
2015/08/12 职场文书
2015团员个人年度总结
2015/11/24 职场文书
2016年第104个国际护士节活动总结
2016/04/06 职场文书
浅谈Redis在直播场景的实践方案
2021/04/27 Redis
CentOS8.4安装Redis6.2.6的详细过程
2021/11/20 Redis
Java线程的6种状态与生命周期
2022/05/11 Java/Android
Python实现数据的序列化操作详解
2022/07/07 Python
Win10鼠标宏怎么设置?win10系统鼠标宏的设置方法
2022/08/14 数码科技