Python csv文件记录流程代码解析


Posted in Python onJuly 16, 2020

1、合并所有测试集和训练集的文件:

使用cmd到所在盘下,输入copy *.CSV all_***.csv即可

2、单独提取异常数据列作为csv文件:

import csv
import codecs
#coding:utf-8
with open("G:\\data_release\\train1.0\\all_train.csv","rt",encoding="utf-8")as f:
reader=csv.DictReader(f)
column=[row['triggername'] for row in reader]
file_name="G:\\data_release\\train1.0\\triggername.csv"
file_csv = codecs.open(file_name,'w+','utf-8')
writer = csv.writer(file_csv, delimiter=' ', quotechar=' ', quoting=csv.QUOTE_MINIMAL)
for data in column:
 writer.writerow(data)

虽然可以写入,但是出现乱码原因应该为csv的BOM没有更改

解决方法:将encoding='utf8'改为encoding='gb18030'

但是打开文件发现并不是所有内容都在第一列,有一些出现第二列,原因是一句话里面出现了逗号

解决方法:遍历列表将逗号改为空格

i=0
while i < len(column):
column[i].replace(","," ")
i+=1

不知道怎么的不适合我用的csv文件,还在继续检查中

3、删除一些字符,如果知道字符的位置可以在列表的基础上进行操作

去除首部空格 line=line.lstrip()

4、导入一个csv文件的时候 data = pd.read_csv('G:\pytorch\data1.csv',encoding='utf-8')

报错的内容是这样的:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 0: invalid continuation byte

修改至data = pd.read_csv('F:\data1.csv', encoding='unicode_escape',header=None,sep = '\t',error_bad_lines=False)也没有用

删除整行重复项:

from more_itertools import unique_everseen
with open('F:\data1.csv','r') as f, open('F:\data2.csv','w') as out_file:
    out_file.writelines(unique_everseen(f))

5、unexpected index是代码的缩进出现问题

6、文本文件用rt,二进制文件用rb打开

with open("fer2013.csv", "rt", encoding="utf-8") as vsvfile:
   reader = csv.reader(vsvfile)
   rows = [row for row in reader]
      print(rows)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现网页链接提取的方法分享
Feb 25 Python
Python实现的HTTP并发测试完整示例
Apr 23 Python
浅谈Python 对象内存占用
Jul 15 Python
神经网络python源码分享
Dec 15 Python
python使用selenium实现批量文件下载
Mar 11 Python
wxPython:python首选的GUI库实例分享
Oct 05 Python
浅析pandas 数据结构中的DataFrame
Oct 12 Python
使用pycharm和pylint检查python代码规范操作
Jun 09 Python
matplotlib基础绘图命令之bar的使用方法
Aug 13 Python
总结Pyinstaller的坑及终极解决方法(小结)
Sep 21 Python
5 分钟读懂Python 中的 Hook 钩子函数
Dec 09 Python
OpenCV-Python实现怀旧滤镜与连环画滤镜
Jun 09 Python
Python 抓取数据存储到Redis中的操作
Jul 16 #Python
django filter过滤器实现显示某个类型指定字段不同值方式
Jul 16 #Python
解决python对齐错误的方法
Jul 16 #Python
Python爬虫实例——爬取美团美食数据
Jul 15 #Python
django Model层常用验证器及自定义验证器详解
Jul 15 #Python
浅谈Django前端后端值传递问题
Jul 15 #Python
浅谈python出错时traceback的解读
Jul 15 #Python
You might like
php实现概率性随机抽奖代码
2016/01/02 PHP
PHP登录(ajax提交数据和后台校验)实例分享
2016/12/29 PHP
javascript事件模型代码
2007/07/01 Javascript
Javascript 网页水印(非图片水印)实现代码
2010/03/01 Javascript
javascript中window.event事件用法详解
2012/12/11 Javascript
jquery实现可拖动DIV自定义保存到数据的实例
2013/11/20 Javascript
jQuery中width()方法用法实例
2014/12/24 Javascript
jQuery Form 表单提交插件之formSerialize,fieldSerialize,fieldValue,resetForm,clearForm,clearFields的应用
2016/01/23 Javascript
jquery选择器中的空格与大于号&gt;、加号+与波浪号~的区别介绍
2016/06/24 Javascript
文件上传的几个示例分享【推荐】
2016/12/16 Javascript
jQuery插件HighCharts绘制2D金字塔图效果示例【附demo源码下载】
2017/03/09 Javascript
解析Angular 2+ 样式绑定方式
2018/01/15 Javascript
用Node编写RESTful API接口的示例代码
2018/07/04 Javascript
Angularjs实现页面模板清除的方法
2018/07/20 Javascript
electron-vue开发环境内存泄漏问题汇总
2019/10/10 Javascript
js实现无限层级树形数据结构(创新算法)
2020/02/27 Javascript
es6函数之尾递归用法实例分析
2020/04/25 Javascript
echarts柱状图背景重叠组合而非并列的实现代码
2020/12/10 Javascript
python统计字符串中指定字符出现次数的方法
2015/04/04 Python
python+influxdb+shell编写区域网络状况表
2018/07/27 Python
Python Pillow Image Invert
2019/01/22 Python
python字符串替换第一个字符串的方法
2019/06/26 Python
在keras中实现查看其训练loss值
2020/06/16 Python
让IE支持HTML5的方法
2012/12/11 HTML / CSS
html5使用canvas绘制一张图片
2014/12/15 HTML / CSS
澳大利亚的奢侈品牌:Oroton
2016/08/26 全球购物
银行会计职员个人的自我评价
2013/09/29 职场文书
工程质量月活动方案
2014/02/19 职场文书
优秀本科生求职推荐信
2014/02/24 职场文书
2014年公司迎新年活动方案
2014/02/24 职场文书
吨的认识教学反思
2014/04/27 职场文书
宝葫芦的秘密观后感
2015/06/11 职场文书
煤矿安全学习心得体会
2016/01/18 职场文书
在Spring-Boot中如何使用@Value注解注入集合类
2021/08/02 Java/Android
python基础之类属性和实例属性
2021/10/24 Python
MySQL数据库事务的四大特性
2022/04/20 MySQL