Python 中Pickle库的使用详解


Posted in Python onFebruary 24, 2018

在“通过简单示例来理解什么是机器学习”这篇文章里提到了pickle库的使用,本文来做进一步的阐述。

那么为什么需要序列化和反序列化这一操作呢?

1.便于存储。序列化过程将文本信息转变为二进制数据流。这样就信息就容易存储在硬盘之中,当需要读取文件的时候,从硬盘中读取数据,然后再将其反序列化便可以得到原始的数据。在Python程序运行中得到了一些字符串、列表、字典等数据,想要长久的保存下来,方便以后使用,而不是简单的放入内存中关机断电就丢失数据。python模块大全中的Pickle模块就派上用场了,它可以将对象转换为一种可以传输或存储的格式。

2.便于传输。当两个进程在进行远程通信时,彼此可以发送各种类型的数据。无论是何种类型的数据,都会以二进制序列的形式在网络上传送。发送方需要把?个对象转换为字节序列,在能在网络上传输;接收方则需要把字节序列在恢复为对象。

通过简单示例来理解什么是机器学习

pickle是python语言的一个标准模块,安装python后已包含pickle库,不需要单独再安装。

pickle模块实现了基本的数据序列化和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

在官方的介绍中,序列化操作的英文描述有好几个单词,如”serializing”, “pickling”, “serialization”, “marshalling” 或者”flattening”等,它们都代表的是序列化的意思。相应的,反序列化操作的英文单词也有好多个,如”de-serializing”, “unpickling”, “deserailization”等。为了避免混淆,一般用”pickling”/“unpickling”, 或者”serialization”/“deserailization”。

pickle模块是以二进制的形式序列化后保存到文件中(保存文件的后缀为”.pkl”),不能直接打开进行预览。而python的另一个序列化标准模块json,则是human-readable的,可以直接打开查看(例如在notepad++中查看)。

pickle模块有两类主要的接口,即序列化和反序列化。

其中序列化操作包括:

pickle.dump()
Pickler(file, protocol).dump(obj)

反序列化操作包括:

pickle.load()
Unpickler(file).load()

2 序列化操作

2.1 序列化方法pickle.dump()

序列化的方法为 pickle.dump(),该方法的相关参数如下:

pickle.dump(obj, file, protocol=None,*,fix_imports=True)

该方法实现的是将序列化后的对象obj以二进制形式写入文件file中,进行保存。它的功能等同于 Pickler(file, protocol).dump(obj)。

关于参数file,有一点需要注意,必须是以二进制的形式进行操作(写入)。

参考前文的案例如下:

import picklewith open('svm_model_iris.pkl', 'wb') as f:
 pickle.dump(svm_classifier, f)

file为'svm_model_iris.pkl',并且以二进制的形式('wb')写入。

关于参数protocol,一共有5中不同的类型,即(0,1,2,3,4)。(0,1,2)对应的是python早期的版本,(3,4)则是在python3之后的版本。

此外,参数可选 pickle.HIGHEST_PROTOCOL和pickle.DEFAULT_PROTOCOL。当前,python3.5版本中,pickle.HIGHEST_PROTOCOL的值为4,pickle.DEFAULT_PROTOCOL的值为3。当protocol参数为负数时,表示选择的参数是pickle.HIGHEST_PROTOCOL。

关于参数protocol,官方的详细介绍如下:

Python 中Pickle库的使用详解

2.2 序列化方法pickle.dumps()

pickle.dumps()方法的参数如下:

pickle.dumps(obj, protocol=None,*,fix_imports=True)

pickle.dumps()方法跟pickle.dump()方法的区别在于,pickle.dumps()方法不需要写入文件中,它是直接返回一个序列化的bytes对象。

2.3 序列化方法Pickler(file, protocol).dump(obj)

pickle模块提供了序列化的面向对象的类方法,即 class pickle.Pickler(file, protocol=None,*,fix_imports=True),Pickler类有dump()方法。

Pickler(file, protocol).dump(obj) 实现的功能跟 pickle.dump() 是一样的。

关于Pickler类的其他method,请参考官方API。

插播一条硬广:技术文章转发太多,本文来自微信公众号:“Python数据之道”(ID:PyDataRoad)。

3 反序列化操作

3.1 反序列化方法pickle.load()

序列化的方法为 pickle.load(),该方法的相关参数如下:

pickle.load(file, *,fix_imports=True, encoding=”ASCII”. errors=”strict”)

该方法实现的是将序列化的对象从文件file中读取出来。它的功能等同于 Unpickler(file).load()。

关于参数file,有一点需要注意,必须是以二进制的形式进行操作(读取)。

参考前文的案例如下:

import picklewith open('svm_model_iris.pkl', 'rb') as f:
 model = pickle.load(f)

file为'svm_model_iris.pkl',并且以二进制的形式('rb')读取。

读取的时候,参数protocol是自动选择的,load()方法中没有这个参数。

3.2 反序列化方法pickle.loads()

pickle.loads()方法的参数如下:

pickle.loads(bytes_object, *,fix_imports=True, encoding=”ASCII”. errors=”strict”)

pickle.loads()方法跟pickle.load()方法的区别在于,pickle.loads()方法是直接从bytes对象中读取序列化的信息,而非从文件中读取。

3.3 反序列化方法Unpickler(file).load()

pickle模块提供了反序列化的面向对象的类方法,即 class pickle.Unpickler(file, *,fix_imports=True, encoding="ASCII". errors="strict"),Pickler类有load()方法。

Unpickler(file).load() 实现的功能跟 pickle.load() 是一样的。

关于Unpickler类的其他method,请参考官方API。

4 那些类型可以进行序列化和反序列化操作

官方文档是这么介绍的,这里我就不进一步描述了。

Python 中Pickle库的使用详解

写在后面

pickle模块还是比较实用的,当然,关于pickle模块,其实还有许多的信息可以去了解,想了解更多信息的童鞋,建议可以阅读下python官方的API文档(library文件)。

以上所述是小编给大家介绍的Python 中Pickle库的使用详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python检测远程udp端口是否打开的方法
Mar 14 Python
用Python生成器实现微线程编程的教程
Apr 13 Python
python多线程方式执行多个bat代码
Jun 07 Python
Python实现的购物车功能示例
Feb 11 Python
利用Pycharm断点调试Python程序的方法
Nov 29 Python
python 搜索大文件的实例代码
Jul 08 Python
在pandas中遍历DataFrame行的实现方法
Oct 23 Python
Python流程控制常用工具详解
Feb 24 Python
Django用数据库表反向生成models类知识点详解
Mar 25 Python
分享PyCharm最新激活码(真永久激活方法)不用每月找安装参数或最新激活码了
Dec 27 Python
PyTorch 实现L2正则化以及Dropout的操作
May 27 Python
pytorch 如何使用batch训练lstm网络
May 28 Python
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
Feb 24 #Python
python3+mysql查询数据并通过邮件群发excel附件
Feb 24 #Python
Python3实现带附件的定时发送邮件功能
Dec 22 #Python
python正则实现提取电话功能
Feb 24 #Python
python3实现公众号每日定时发送日报和图片
Feb 24 #Python
详解如何在python中读写和存储matlab的数据文件(*.mat)
Feb 24 #Python
使用python和pygame绘制繁花曲线的方法
Feb 24 #Python
You might like
PHP面向对象分析设计的61条军规小结
2010/07/17 PHP
php递归实现无限分类生成下拉列表的函数
2010/08/08 PHP
采用PHP函数memory_get_usage获取PHP内存清耗量的方法
2011/12/06 PHP
PHP新手NOTICE错误常见解决方法
2011/12/07 PHP
PHP对象Object的概念 介绍
2012/06/14 PHP
php json与xml序列化/反序列化
2013/10/28 PHP
PHP学习笔记之字符串编码的转换和判断
2014/05/22 PHP
Thinkphp中volist标签mod控制一定记录的换行BUG解决方法
2014/11/04 PHP
jquery与google map api结合使用 控件,监听器
2010/03/04 Javascript
Jquery上传插件 uploadify v3.1使用说明
2012/06/18 Javascript
jQuery下的动画处理总结
2013/10/10 Javascript
zTree插件之多选下拉菜单实例代码
2013/11/06 Javascript
js获取网页可见区域、正文以及屏幕分辨率的高度
2014/05/15 Javascript
jQuery实现鼠标悬停背景翻转的黑色导航菜单代码
2015/09/14 Javascript
跟我学习javascript的定时器
2015/11/19 Javascript
jquery mobile开发常见问题分析
2016/01/21 Javascript
JavaScript 经典实例日常收集整理(常用经典)
2016/03/30 Javascript
轻松掌握JavaScript策略模式
2016/08/25 Javascript
jQuery简单创建节点的方法
2016/09/09 Javascript
switch语句的妙用(必看篇)
2016/10/03 Javascript
js实现弹窗居中的简单实例
2016/10/09 Javascript
在React中如何优雅的处理事件响应详解
2017/07/24 Javascript
Vue中的无限加载vue-infinite-loading的方法
2018/04/08 Javascript
element实现合并单元格通用方法
2019/11/13 Javascript
解析Python中的__getitem__专有方法
2016/06/27 Python
Python cookbook(数据结构与算法)找出序列中出现次数最多的元素算法示例
2018/03/15 Python
python 对多个csv文件分别进行处理的方法
2019/01/07 Python
详解python pandas 分组统计的方法
2019/07/30 Python
Python实现串口通信(pyserial)过程解析
2019/09/25 Python
《陈毅探母》教学反思
2014/05/01 职场文书
公司领导班子四风对照检查材料
2014/09/27 职场文书
贫困证明书格式及范文
2014/10/15 职场文书
2014年大学教师工作总结
2014/12/02 职场文书
永远是春天观后感
2015/06/12 职场文书
法制教育讲座心得体会
2016/01/14 职场文书
英语版自我评价,35句话轻松搞定
2019/10/08 职场文书