深入浅析python3中的unicode和bytes问题


Posted in Python onJuly 03, 2019

最近写了一些python3程序,四处能看到bytes类型,而它并不存在于python2中,这也是python3和python2显著区别之一。

以前在写python2代码的时候,经常会遇到很多编码报错的异常,原因在于python2对unicode的支持不是特别理想。而在python3中,所有编写的代码都是unicode,python解析器在运行的时候,内部都转换(除非你显示定义为bytes类型)为unicode,减少了出错的可能性。

在python3中,有两种字符串类型,默认的就是str,即unicode,也叫做文本类型。但一个程序总是会有I/O操作(磁盘,网络),即I/O二进制数据,在python3中定义为bytes类型。bytes类型就是一个个字节串,包含0~256 之间的一个整数。

那么如何定义bytes类型呢,有两种显示的方法,比如:

#只能允许ASCII值
x=b'abc'
y=b'\xe6\x88\x91'
print (x,y)
#对unicode字符集进行特定编码
t=bytes("我们","UTF-8")
#输出b'\xe6\x88\x91\xe4\xbb\xac'
#一个中文字符,UTF-8编码占用三个字节
print (t)
#返回6,对于python来说,就是字节序列的长度
print (len(t))
#返回2,代表两个字符
print (len("我们"))

接下去说说str类型和bytes类型之间的转换,比如从网络上读取到二进制数据后,python需要你显示的将其转换为str类型,也就是说 python不会隐式在str和bytes之间转换 ,看上去麻烦了很多,但会减少你出错的几率,自己明确自己做要的事情。

如果要将str转换为bytes,必须选择一个编码,明确二进制数据是如何编码的,比如:

x="我"
y=x.encode("UTF-8")
z=x.encode("GBK")
#b'\xe6\x88\x91' b'\xce\xd2'
print (y,z)

如果要将bytes转换为str,也需要一个编码,必须说明的是,你必须知道 二进制数据的编码是什么 ,如果选错了,转换为unicode的时候会错误,另外在python内部,它不关心二进制数据是什么编码的,只要是bytes类型, 它就是一串字节序列 ,比如:

x=b'\xe6\x88\x91'
print (x.decode("UTF-8"))
#会报错
print (x.decode("GBK"))

总之一句话,“ python内部使用unicode,外部使用bytes类型 ”,python内建库中,很多函数会说明需要str类型还是bytes类型(严格说来是bytes-like对象,比如bytes、bytearray ),在写代码的时候一定要看清楚,比如 hamc 库的new方法,就要求:

hmac.new(key, msg=None, digestmod=None) key is a bytes or bytearray object giving the secret key

很多库,尤其第三方库(比如requests)为了兼容python2和python3,会在内部做很多转换工作,让你意识不到bytes类型的存在,虽然生产力提高了,但对于理解python并没有太大的好处。

如果要充分理解bytes和str的应用,可以参考open和write两个内建函数。

使用文本方式打开文件,python在内部会自动转换为str类型,比如:

file ="t.txt"
t = open(file,mode="r").read()

而如果是二进制方式打开,如果要显示在终端,需要转换为str类型,比如:

file ="t.txt"
t = open(file,mode="rb").read()
print (t.decode())
print (t,type(t))

而如果是二进制方式写入,则将bytes类型数据直接写入,比如:

file="t.txt"
t=open(file,mode="wb")
t.write(b'\xe6\x88\x91')

在上面几个例子中,都没有说明使用那种编码,如果不显示指定,一般编码等同于locale.getpreferedencoding()

总结

以上所述是小编给大家介绍的python3中的unicode和bytes问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
跟老齐学Python之??碌某?? target=
Sep 12 Python
Python错误提示:[Errno 24] Too many open files的分析与解决
Feb 16 Python
python实现随机调用一个浏览器打开网页
Apr 21 Python
win7下python3.6安装配置方法图文教程
Jul 31 Python
python3爬虫获取html内容及各属性值的方法
Dec 17 Python
python语言元素知识点详解
May 15 Python
Django CSRF跨站请求伪造防护过程解析
Jul 31 Python
浅谈Pycharm最有必要改的几个默认设置项
Feb 14 Python
如何在windows下安装Pycham2020软件(方法步骤详解)
May 03 Python
Python爬虫HTPP请求方法有哪些
Jun 03 Python
python获取命令行参数实例方法讲解
Nov 02 Python
Python LMDB库的使用示例
Feb 14 Python
10款最好的Python开发编辑器
Jul 03 #Python
python基于递归解决背包问题详解
Jul 03 #Python
Python跳出多重循环的方法示例
Jul 03 #Python
Python多版本开发环境管理工具介绍
Jul 03 #Python
介绍一款python类型检查工具pyright(推荐)
Jul 03 #Python
Python flask框架post接口调用示例
Jul 03 #Python
Python3安装psycopy2以及遇到问题解决方法
Jul 03 #Python
You might like
理解php Hash函数,增强密码安全
2011/02/25 PHP
PHP生成不重复标识符的方法
2014/11/21 PHP
变量在 PHP7 内部的实现(二)
2015/12/21 PHP
利用PHP生成静态html页面的原理
2016/09/30 PHP
PHP中文字符串截断无乱码解决方法
2016/10/10 PHP
做网页的一些技巧(续)
2007/02/01 Javascript
JQuery 遮罩层实现(mask)实现代码
2010/01/09 Javascript
js中onload与onunload的使用示例
2013/08/25 Javascript
JS使用replace()方法和正则表达式进行字符串的搜索与替换实例
2014/04/10 Javascript
JS判断、校验MAC地址的2个实例
2014/05/05 Javascript
js判断是否按下了Shift键的方法
2015/01/27 Javascript
jQuery选择id属性带有点符号元素的方法
2015/03/17 Javascript
HTML+CSS+JS实现完美兼容各大浏览器的TABLE固定列
2015/04/26 Javascript
JS中frameset框架弹出层实例代码
2016/04/01 Javascript
JavaScript String 对象常用方法总结
2016/04/28 Javascript
JavaScript简单实现弹出拖拽窗口(一)
2016/06/17 Javascript
Bootstrap的modal拖动效果
2016/12/25 Javascript
js学习总结_选项卡封装(实例讲解)
2017/07/13 Javascript
JavaScript一元正号运算符示例代码
2019/06/30 Javascript
如何对react hooks进行单元测试的方法
2019/08/14 Javascript
使用Promise封装小程序wx.request的实现方法
2019/11/13 Javascript
python简单判断序列是否为空的方法
2015/06/30 Python
Python通过90行代码搭建一个音乐搜索工具
2015/07/29 Python
利用python打开摄像头及颜色检测方法
2018/08/03 Python
Python装饰器简单用法实例小结
2018/12/03 Python
Python实现二维曲线拟合的方法
2018/12/29 Python
Python3利用openpyxl读写Excel文件的方法实例
2021/02/03 Python
CSS3弹性布局内容对齐(justify-content)属性使用详解
2017/07/31 HTML / CSS
什么是Deployment descriptors;都有什么类型的部署描述符
2015/07/28 面试题
中职生自荐信
2013/10/13 职场文书
团队队名口号大全
2014/06/06 职场文书
2015年数学教师工作总结
2015/05/20 职场文书
《水上飞机》教学反思
2016/02/20 职场文书
Nginx的反向代理实例详解
2021/03/31 Servers
golang日志包logger的用法详解
2021/05/05 Golang
nginx 添加http_stub_status_module模块
2022/05/25 Servers