python与字符编码问题


Posted in Python onMay 24, 2019

用python2的小伙伴肯定会遇到字符编码的问题。下面对编码问题做个简单的总结,希望对各位有些帮助。

故事零:编码的定义

我们从“SOS“(国际通用求助信号)开始,它的摩斯密码的编码是:

“…---…”,想一下为什么选用S、O、S来作为求救信号?因为它简单,容易辨别且不容易发错呀!
那么,字符编码就是:

´给定一系列字符,对每个字符赋予一个数值,用数值来代表对应的字符,这一数值就是字符的编码。例如,我们给字符'A'赋予数值0x41,则0x41就是字符'A'的编码。字符编码是字符的表现、储存方式。

字符编码需要处理两件事:

(1)规定一个字符集中的字符由多少个字节表示;

(2)制定该字符集的字符编码表,即该字符集中每个字符对应的(二进制)值。

字符集:´给定一系列字符并赋予对应的编码后,所有这些字符和编码对组成的集合就是字符集。´比如,给定字符列表为{'A','B'}时,{'A'=>0x41,‘B'=>0x42}就是一个字符集。

常见字符集有:

ASCII
GB2312
GBK
GB18030
Big5
Unicode

一张图总结:

python与字符编码问题

故事一:Python2与Python3的字符串类型?

python2中的字符串有str和unicode类型,而python3中字符串只有unicode类型。比如 ‘你好'是str字符串,而 u'你好'则是unicode字符串。

故事二:decode()和encode()傻傻分不清?

decode() 是将str字符串转化为unicode字符串;encode() 是将unicode字符串转化为str字符串。所以要做一些编码的转换通常是以unicode作为中间编码做转换。如name.decode(“GB2312”)表示将GB2312编码的字符串name转换成unicode编码,name.encode(“GB2312”)表示将unicode字符串name转换成GB2312编码。

python与字符编码问题

故事三:UnicodeEncodeError: ‘ascii' codec can't encode character?

我们先看看两张图,是不是很烦?

python与字符编码问题

python与字符编码问题

下面我们看个例子:

python与字符编码问题

当用u'字符串'申明这个字符串变量时就指明了该字符串是使用unicode字符编码。当要将unicode字符串转换为str字符串或者写入文件时,python2默认使用ASCII 码保存数据,而ASCII 码无法识别大于128 的字符,于是报了上面的错误。
附ASCII码表:

python与字符编码问题

故事四:unicode是什么?

unicode可以看做一个终极的字符编码方法,它给出了地球上常用字符的二进制映射,而且所有的二进制字符串唯一地表示一个字符。但是,unicode只给出了字符和二进制串的对应关系,并没有给出存储形式。而不同字符所占用的存储空间可能不同,比如ASCII 在unicode中只占用了一个字节即可,而常用汉字在unicode中需要占用两个字节,还有一些罗马字符可能需要三个或以上字节。如果直接存储的话可能导致无法分割字符串,也无法正确解码出字符。

故事五:UTF-8横空出世?

互联网的普及,强烈要求出现一种统一的编码方式。这时候UTF-8 出场。UTF-8 是unicode在计算机中的一种实现方式。UTF-8是一种变长编码,每个字符占1-4 个字节。UTF-8 将字节分为数值位和标识位,数值位真正保存字符编码数值,标识位表示这个字节是属于哪个字符的、或者该字符占多少个字节。UTF-8 编码方法:

单字节,首位为标识位0;多字节字符首字节标志位1··10开头,字符占多少字节则有多少1,其他字节标识位10开头;

§  单字节字符: 0xxxxxxx (以0 开头标志位,数值位用x 表示)

§  双字节字符: 110xxxxx 10xxxxxx

§  三字节字符: 1110xxxx 10xxxxxx 10xxxxxx

§  四字节字符: 11110xxx 10xxxxxx 10xxxxxx10xxxxxx

unicode变为UTF-8 编码非常简单,unicode二进制按照从低到高,填充UTF-8的数值位,除去那些不真正表示数值的标识位(字节开头的0,10,110,1110和11110),顺序也是由低到高。以汉字“你”为例,可见它的unicode编码为“4f60”(01001111 01100000)。

python与字符编码问题

从“你”的unicode值范围可以看到需要三个字节,接着从低位字节向高位字节填充得到“你”的UTF-8 编码(高位没有填充完则用0补充)。

python与字符编码问题

可以看到将UTF-8 用于标记位(红色)的位去掉,合并可以得到原始的unicode码。

故事六:"unicode-escape"与"unicode-unescape"

“\u”是表示unicode的转义字符,用\uxxxx这种方式表示unicode字符就是”unicode-escape”方式。说人话:´一句话:xxx.decode(“unicode-escape”)相当于把xxx解码成unicode类型并返回。
而用”%uxxxx”的方式表示unicode字符,这种方式就是”unicode-unescape”,常用于javascript。

番外故事七:读了那么多年书,你真的了解“全半角”?

全角---指一个字符占用两个标准字符位置。
半角---指一字符占用一个标准的字符位置。
引申:写程序时双引号、冒号、小括号等为啥如此纠结?
--我国专家在制定GB2312字符集时,ASCII里本来就有的数字、标点、字母都统统重新编了两个字节长的编码。
是不是脑壳疼呀,想想我国程序员因为中英文切换牺牲了多少宝贵时间啊,啊嘿!

总结

以上所述是小编给大家介绍的python与字符编码问题 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python中的多线程实例教程
Aug 27 Python
Python的Tornado框架实现图片上传及图片大小修改功能
Jun 30 Python
解决pycharm无法调用pip安装的包问题
May 18 Python
python 判断矩阵中每行非零个数的方法
Jan 26 Python
Python根据成绩分析系统浅析
Feb 11 Python
python调用外部程序的实操步骤
Mar 04 Python
pyqt实现.ui文件批量转换为对应.py文件脚本
Jun 19 Python
django认证系统实现自定义权限管理的方法
Aug 28 Python
python实现的读取网页并分词功能示例
Oct 29 Python
解决pycharm最左侧Tool Buttons显示不全的问题
Dec 17 Python
如何基于Python pygame实现动画跑马灯
Nov 18 Python
在python中对于bool布尔值的取反操作
Dec 11 Python
Python读取stdin方法实例
May 24 #Python
python实践项目之监控当前联网状态详情
May 23 #Python
了解不常见但是实用的Python技巧
May 23 #Python
python远程邮件控制电脑升级版
May 23 #Python
python操作日志的封装方法(两种方法)
May 23 #Python
Python除法之传统除法、Floor除法及真除法实例详解
May 23 #Python
详解Python3除法之真除法、截断除法和下取整对比
May 23 #Python
You might like
php下使用无限生命期Session的方法
2007/03/16 PHP
PHP中执行MYSQL事务解决数据写入不完整等情况
2014/01/07 PHP
discuz目录文件资料汇总
2014/12/30 PHP
深入理解PHP内核(二)之SAPI探究
2015/11/10 PHP
对php 判断http还是https,以及获得当前url的方法详解
2019/01/15 PHP
php自定义排序uasort函数示例【二维数组按指定键值排序】
2019/06/19 PHP
常见的5个PHP编码小陋习以及优化实例讲解
2021/02/27 PHP
比较详细的javascript对象的property和prototype是什么一种关系
2007/08/06 Javascript
javascript xml为数据源的下拉框控件
2009/07/07 Javascript
js 连接数据库如何操作数据库中的数据
2012/11/23 Javascript
JS获取及设置TextArea或input文本框选择文本位置的方法
2015/03/24 Javascript
js实现简洁的TAB滑动门效果代码
2015/09/06 Javascript
JS+CSS实现简易的滑动门效果代码
2015/09/24 Javascript
JS实现在状态栏显示打字效果完整实例
2015/11/02 Javascript
js一维数组、多维数组和对象的混合使用方法
2016/04/03 Javascript
js实现自动轮换选项卡
2017/01/13 Javascript
js省市区级联查询(插件版&无插件版)
2017/03/21 Javascript
bootstrap table动态加载数据示例代码
2017/03/25 Javascript
微信小程序实现顶部普通选项卡效果(非swiper)
2020/06/19 Javascript
原理深度解析Vue的响应式更新比React快
2020/04/04 Javascript
vue打包通过image-webpack-loader插件对图片压缩优化操作
2020/11/12 Javascript
JavaScript实现4位随机验证码的生成
2021/01/28 Javascript
python使用点操作符访问字典(dict)数据的方法
2015/03/16 Python
Python使用pygame模块编写俄罗斯方块游戏的代码实例
2015/12/08 Python
深入讲解Python函数中参数的使用及默认参数的陷阱
2016/03/13 Python
python绘制直线的方法
2018/06/30 Python
Python设计模式之原型模式实例详解
2019/01/18 Python
pycharm编写spark程序,导入pyspark包的3中实现方法
2019/08/02 Python
Django之PopUp的具体实现方法
2019/08/31 Python
python3文件复制、延迟文件复制任务的实现方法
2019/09/02 Python
解决pytorch 交叉熵损失输出为负数的问题
2020/07/07 Python
python 读取yaml文件的两种方法(在unittest中使用)
2020/12/01 Python
H5调用相机拍照并压缩图片的实例代码
2017/07/20 HTML / CSS
JD Sports德国官网:英国领先的运动鞋和运动服饰零售商
2018/02/26 全球购物
yy婚礼司仪主持词
2014/03/14 职场文书
Pandas 稀疏数据结构的实现
2021/07/25 Python