Python csv文件记录流程代码解析


Posted in Python onJuly 16, 2020

1、合并所有测试集和训练集的文件:

使用cmd到所在盘下,输入copy *.CSV all_***.csv即可

2、单独提取异常数据列作为csv文件:

import csv
import codecs
#coding:utf-8
with open("G:\\data_release\\train1.0\\all_train.csv","rt",encoding="utf-8")as f:
reader=csv.DictReader(f)
column=[row['triggername'] for row in reader]
file_name="G:\\data_release\\train1.0\\triggername.csv"
file_csv = codecs.open(file_name,'w+','utf-8')
writer = csv.writer(file_csv, delimiter=' ', quotechar=' ', quoting=csv.QUOTE_MINIMAL)
for data in column:
 writer.writerow(data)

虽然可以写入,但是出现乱码原因应该为csv的BOM没有更改

解决方法:将encoding='utf8'改为encoding='gb18030'

但是打开文件发现并不是所有内容都在第一列,有一些出现第二列,原因是一句话里面出现了逗号

解决方法:遍历列表将逗号改为空格

i=0
while i < len(column):
column[i].replace(","," ")
i+=1

不知道怎么的不适合我用的csv文件,还在继续检查中

3、删除一些字符,如果知道字符的位置可以在列表的基础上进行操作

去除首部空格 line=line.lstrip()

4、导入一个csv文件的时候 data = pd.read_csv('G:\pytorch\data1.csv',encoding='utf-8')

报错的内容是这样的:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 0: invalid continuation byte

修改至data = pd.read_csv('F:\data1.csv', encoding='unicode_escape',header=None,sep = '\t',error_bad_lines=False)也没有用

删除整行重复项:

from more_itertools import unique_everseen
with open('F:\data1.csv','r') as f, open('F:\data2.csv','w') as out_file:
    out_file.writelines(unique_everseen(f))

5、unexpected index是代码的缩进出现问题

6、文本文件用rt,二进制文件用rb打开

with open("fer2013.csv", "rt", encoding="utf-8") as vsvfile:
   reader = csv.reader(vsvfile)
   rows = [row for row in reader]
      print(rows)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python求斐波那契数列示例分享
Feb 14 Python
Django应用程序中如何发送电子邮件详解
Feb 04 Python
小米5s微信跳一跳小程序python源码
Jan 08 Python
tensorflow输出权重值和偏差的方法
Feb 10 Python
Django中STATIC_ROOT和STATIC_URL及STATICFILES_DIRS浅析
May 08 Python
Django继承自带user表并重写的例子
Nov 18 Python
flask实现验证码并验证功能
Dec 05 Python
django 实现简单的插入视频
Apr 07 Python
Virtualenv 搭建 Py项目运行环境的教程详解
Jun 22 Python
Python 分布式缓存之Reids数据类型操作详解
Jun 24 Python
Python趣味实例,实现一个简单的抽奖刮刮卡
Jul 18 Python
python实现文件+参数发送request的实例代码
Jan 05 Python
Python 抓取数据存储到Redis中的操作
Jul 16 #Python
django filter过滤器实现显示某个类型指定字段不同值方式
Jul 16 #Python
解决python对齐错误的方法
Jul 16 #Python
Python爬虫实例——爬取美团美食数据
Jul 15 #Python
django Model层常用验证器及自定义验证器详解
Jul 15 #Python
浅谈Django前端后端值传递问题
Jul 15 #Python
浅谈python出错时traceback的解读
Jul 15 #Python
You might like
PHP面向对象编程快速入门
2006/12/14 PHP
php preg_match_all结合str_replace替换内容中所有img
2008/10/11 PHP
PHP仿博客园 个人博客(1) 数据库与界面设计
2013/07/05 PHP
php数组操作之键名比较与差集、交集赋值的方法
2014/11/10 PHP
php简单分页类实现方法
2015/02/26 PHP
简单实现PHP留言板功能
2016/12/21 PHP
php json相关函数用法示例
2017/03/28 PHP
jquery 的 $(&quot;#id&quot;).html() 无内容的解决方法
2010/06/07 Javascript
统计jQuery中各字符串出现次数的工具
2012/05/03 Javascript
jQuery淡入淡出元素让其效果更为生动
2014/09/01 Javascript
JS组件Bootstrap Select2使用方法详解
2020/04/17 Javascript
JavaScript学习笔记整理_简单实现枚举类型,扑克牌应用
2016/09/19 Javascript
iOS和Android用同一个二维码实现跳转下载链接的方法
2016/09/28 Javascript
Bootstrap基本插件学习笔记之Alert警告框(20)
2016/12/08 Javascript
Javarscript中模块(module)、加载(load)与捆绑(bundle)详解
2017/05/28 Javascript
mac上配置Android环境变量的方法
2018/07/08 Javascript
微信小程序前端自定义分享的实现方法
2019/06/13 Javascript
Python创建模块及模块导入的方法
2015/05/27 Python
Python解决走迷宫问题算法示例
2018/07/27 Python
Django开发的简易留言板案例详解
2018/12/04 Python
Django中提供的6种缓存方式详解
2019/08/05 Python
如何利用Python开发一个简单的猜数字游戏
2019/09/22 Python
pytorch:实现简单的GAN示例(MNIST数据集)
2020/01/10 Python
如何表示python中的相对路径
2020/07/08 Python
Django haystack实现全文搜索代码示例
2020/11/28 Python
MyFrenchPharma中文网:最大的法国药妆平台
2016/10/07 全球购物
质检部岗位职责
2013/11/11 职场文书
初三学生个人自我评定
2014/04/06 职场文书
活动总结格式
2014/08/30 职场文书
出差报告格式模板
2014/11/06 职场文书
世界水日宣传活动总结
2015/02/09 职场文书
2015年学校图书室工作总结
2015/05/19 职场文书
工伤认定行政答辩状
2015/05/22 职场文书
童年读书笔记
2015/06/26 职场文书
门面租赁合同范文
2019/08/06 职场文书
Spring依赖注入多种类型数据的示例代码
2022/03/31 Java/Android