python3编码问题汇总


Posted in Python onSeptember 06, 2016

这两天写了个监测网页的爬虫,作用是跟踪一个网页的变化,但运行了一晚出现了一个问题。。。。希望大家不吝赐教!
我用的是python3,错误在对html response的decode时抛出,代码原样为:

response = urllib.urlopen(dsturl)
content = response.read().decode('utf-8')

抛出错误为

File "./unxingCrawler_p3.py", line 50, in getNewPhones
  content = response.read().decode()
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb2 in position 24137: invalid start byte

之前运行都没问题,经过一晚上就出现了。。。。最不明白的是在它声明为utf-8编码的网页中为什么会出现utf-8无法解析的字符?

后来经过热心网友的提醒,才发现需要使用decode('utf-8', 'ignore')

为了彻底闹明白python的编码问题,特分享下文,希望对大家熟悉python的编码问题带来些帮助

1.从字节说起:

一个字节包括八个比特位,每个比特位表示0或1,一个字节即可表示从00000000到11111111共2^8=256个数字。一个ASCII编码使用一个字节(除去字节的最高位作为作奇偶校验位),ASCII编码实际使用一个字节中的7个比特位来表示字符,共可表示2^7=128个字符。比如ASCII编码中的01000001(即十进制的65)表示字符'A',01000001加上32之后的01100001(即十进制的97)表示字符'a'。现在打开Python,调用chr和ord函数,我们可以看到Python为我们对ASCII编码进行了转换。如图

python3编码问题汇总

第一个00000000表示空字符,因此ASCII编码实际上只包括了 字母、标点符号、特殊符号等共127个字符。因为ASCII是在美国出生的,对于由字母组成单词进而用单词表达的英文来说也是够了。但是中国人、日本人、 韩国人等其他语言的人不服了。中文是一个字一个字,ASCII编码用上了浑身解数256个字符都不够用。

因此后来出现了Unicode编码。Unicode编码通常由两个字节组成,共表示256*256个字符,即所谓的UCS-2。某些偏僻字还会用到四个字节,即所谓的UCS-4。也就是说Unicode标准也还在发展。但UCS-4出现的比较少,我们先记住: 最原始的ASCII编码使用一个字节编码,但由于语言差异字符众多,人们用上了两个字节,出现了统一的、囊括多国语言的Unicode编码。

在Unicode中,原本ASCII中的127个字符只需在前面补一个全零的字节即可,比如前文谈到的字符‘a':01100001,在Unicode中变成了00000000 01100001。不久,美国人不开心了,吃上了世界民族之林的大锅饭,原本只需一个字节就能传输的英文现在变成两个字节,非常浪费存储空间和传输速度。

人们再发挥聪明才智,于是出现了UTF-8编码。因为针对的是空间浪费问题,因此这种 UTF-8编码是可变长短的 ,从英文字母的一个字节,到中文的通常的三个字节,再到某些生僻字的六个字节。解决了空间问题,UTF-8编码还有一个神奇的附加功能,那就是兼容了老大哥的ASCII编码。一些老古董软件现在在UTF-8编码中可以继续工作。

注意除了英文字母相同,汉字在Unicode编码和UTF-8编码中通常是不同的。比如​汉字的‘中'字在Unicode中是01001110 00101101,而在UTF-8编码中是11100100 10111000 10101101。

我们祖国母亲自然也有自己的一套标准。那就是GB2312和GBK。当然现在挺少看到。通常都是直接使用UTF-8。

2.Python3中的默认编码

Python3中默认是UTF-8,我们通过以下代码:

import sys

sys.getdefaultencoding()

可查看Python3的默认编码。​

python3编码问题汇总

3.Python3中的​encode和decode

Python3中字符编码经常会使用到decode和encode函数。特别是在抓取网页中,这两个函数用的熟练非常有好处。encode的作用,使我们看到的直观的字符转换成计算机内的字节形式。decode刚好相反,把字节形式的字符转换成我们看的懂的、直观的、“人模人样”的形式。

python3编码问题汇总

\x表示后面是十六进制, \xe4\xb8\xad即是二进制的 11100100 10111000 10101101。也就是说汉字‘中'encode成字节形式,是 11100100 10111000 10101101。同理,我们拿 11100100 10111000 10101101也就是 \xe4\xb8\xad来decode回来,就是汉字‘中'。完整的应该是 b'\xe4\xb8\xad',在Python3中, 以字节形式表示的字符串则必须加上 前缀b,也就是写成上文的b'xxxx'形式。

前文说的Python3的默认编码是UTF-8,所以我们可以看到,Python处理这些字符的时候是以UTF-8来处理的。因此从上图可以看到,就算我们通过encode('utf-8')特意把字符encode为UTF-8编码,出来的结果还是相同:b'\xe4\xb8\xad'。

明白了这一点,同时我们知道​UTF-8兼容ASCII,我们可以猜想大学时经常背诵的‘A'对应ASCII中的65,在这里是不是也能正确的decode出来呢。十进制的65转换成十六进制是41,我们尝试下:

b'\x41'.decode()

结果如下。果然是字符‘A'

python3编码问题汇总

4.Python3中的​编码转换

据说字符在计算机的内存中统一是以Unicode编码的。只有在字符要被写进文件、存进硬盘或者从服务器发送至客户端(例如网页前端的代码)时会变成utf-8。但其实我比较关心怎么把这些字符以Unicode的字节形式表现出来,露出它在内存中的庐山正面目的。这里有个照妖镜:

xxxx.encode/decode('unicode-escape')

python3编码问题汇总

b'\\u4e2d'还是b'\u4e2d,一个斜杠貌似没影响。同时可以 发现在shell窗口中,直接输 '\u4e2d'和输入b '\u4e2d'.decode('unicode-escape')是相同的,都会打印出汉字‘中', 反而是 '\u4e2d'.decode('unicode-escape')会报错。说明 说明Python3不仅支持Unicode,而且一个‘\uxxxx'格式的 Unicode字符 可被辨识且被等价于str类型。

python3编码问题汇总

如果我们知道一个Unicode字节码,怎么变成UTF-8的字节码呢。懂了以上这些,现在我们就有思路了,先decode,再encode。代码如下:

​xxx.decode('unicode-escape').encode()

python3编码问题汇总

​最后的扩展

还记得刚刚那个ord吗。时代变迁,老大哥ASCII被人合并,但ord还是有用武之地。试试ord('中'),输出结果是20013。20013是什么呢,我们再试试hex(ord('中')),输出结果是'0x4e2d',也就是20013是我们在上文见面了无数次的x4e2d的十进制值。这里说下hex,是用来转换成十六进制的函数,学过单片机的人对hex肯定不会陌生。

最后的扩展,在网上看到的他人的问题。我们写下类似于'\u4e2d'的字符,Python3知道我们想表达什么。但是让Python读取某个文件的时候出现了'\u4e2d',是不是计算机就不认识它了呢?后来下文有人给出了答案。如下:

import codecs

file = codecs.open( "a.txt", "r", "unicode-escape" )

u = file.read()

print(u)
Python 相关文章推荐
kNN算法python实现和简单数字识别的方法
Nov 18 Python
python使用htmllib分析网页内容的方法
May 08 Python
Python外星人入侵游戏编程完整版
Mar 30 Python
Python爬虫DNS解析缓存方法实例分析
Jun 02 Python
BP神经网络原理及Python实现代码
Dec 18 Python
Python 实现文件读写、坐标寻址、查找替换功能
Sep 11 Python
WxPython实现无边框界面
Nov 18 Python
python使用pygame实现笑脸乒乓球弹珠球游戏
Nov 25 Python
Python 解码Base64 得到码流格式文本实例
Jan 09 Python
使用TensorFlow搭建一个全连接神经网络教程
Feb 06 Python
浅谈keras 的抽象后端(from keras import backend as K)
Jun 16 Python
Python爬虫基础初探selenium
May 31 Python
用Python实现命令行闹钟脚本实例
Sep 05 #Python
Python爬虫爬取美剧网站的实现代码
Sep 03 #Python
Python选课系统开发程序
Sep 02 #Python
简单谈谈Python中函数的可变参数
Sep 02 #Python
Python实现自动添加脚本头信息的示例代码
Sep 02 #Python
利用Python获取操作系统信息实例
Sep 02 #Python
好用的Python编辑器WingIDE的使用经验总结
Aug 31 #Python
You might like
一个域名查询的程序
2006/10/09 PHP
PHP中PDO的事务处理分析
2016/04/07 PHP
php+redis消息队列实现抢购功能
2018/02/08 PHP
PHP使用反向Ajax技术实现在线客服系统详解
2019/07/01 PHP
在Z-Blog中运行代码[html][/html](纯JS版)
2007/03/25 Javascript
jQuery Dialog 弹出层对话框插件
2010/08/09 Javascript
xml文档转换工具,附图表例子(hta)
2010/11/17 Javascript
Javascript异步编程模型Promise模式详细介绍
2014/05/08 Javascript
JS获取客户端IP地址、MAC和主机名的7个方法汇总
2014/07/21 Javascript
浅谈Javascript中匀速运动的停止条件
2014/12/19 Javascript
浅谈类似于(function(){}).call()的js语句
2015/03/30 Javascript
Nodejs Stream 数据流使用手册
2016/04/17 NodeJs
基于Vuejs实现购物车功能
2016/08/02 Javascript
angular2路由之routerLinkActive指令【推荐】
2018/05/30 Javascript
微信小程序实现预览图片功能
2020/10/22 Javascript
vue实现拖拽的简单案例 不超出可视区域
2019/07/25 Javascript
关于layui表单中按钮自动提交的解决方法
2019/09/09 Javascript
js判断一个对象是数组(函数)的方法实例
2019/12/19 Javascript
小程序实现上下切换位置
2020/11/16 Javascript
微信小程序实现自定义底部导航
2020/11/18 Javascript
Python中实现对list做减法操作介绍
2015/01/09 Python
Python实现的文本编辑器功能示例
2017/06/30 Python
python贪吃蛇游戏代码
2020/04/18 Python
使用Python实现将多表分批次从数据库导出到Excel
2020/05/15 Python
Python enumerate() 函数如何实现索引功能
2020/06/29 Python
Django数据库迁移常见使用方法
2020/11/12 Python
canvas压缩图片以及卡片制作的方法示例
2018/12/04 HTML / CSS
Joules美国官网:出色的英国风格
2017/10/30 全球购物
Europcar美国/加拿大:预订汽车或卡车租赁服务
2018/11/13 全球购物
Perfume’s Club德国官网:在线购买香水
2019/04/08 全球购物
大学生水文观测实习自我鉴定
2013/09/29 职场文书
行政文员岗位职责
2013/11/08 职场文书
经济管理专业毕业生推荐信
2013/11/11 职场文书
2013届毕业生求职信范文
2013/11/20 职场文书
英语导游欢迎词
2015/09/30 职场文书
分析Python list操作为什么会错误
2021/11/17 Python