python使用__slots__让你的代码更加节省内存


Posted in Python onSeptember 05, 2018

前言

在默认情况下,Python的新类和旧类的实例都有一个字典来存储属性值。这对于那些没有实例属性的对象来说太浪费空间了,当需要创建大量实例的时候,这个问题变得尤为突出。

因此这种默认的做法可以通过在新式类中定义了一个__slots__属性从而得到了解决。__slots__声明中包含若干实例变量,并为每个实例预留恰好足够的空间来保存每个变量,因此没有为每个实例都创建一个字典,从而节省空间。

本文主要介绍了关于python使用__slots__让你的代码更加节省内存的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧

现在来说说python中dict为什么比list浪费内存?

和list相比,dict 查找和插入的速度极快,不会随着key的增加而增加;dict需要占用大量的内存,内存浪费多。

而list查找和插入的时间随着元素的增加而增加;占用空间小,浪费的内存很少。

python解释器是Cpython,这两个数据结构应该对应C的哈希表和数组。因为哈希表需要额外内存记录映射关系,而数组只需要通过索引就能计算出下一个节点的位置,所以哈希表占用的内存比数组大,也就是dict比list占用的内存更大。

如果想更加详细了解,可以查看C的源代码。python官方链接:https://www.python.org/downloads/source/

如下代码是我从python官方截取的代码片段:

List 源码:

typedef struct {
 PyObject_VAR_HEAD
 /* Vector of pointers to list elements. list[0] is ob_item[0], etc. */
 PyObject **ob_item;
 
 /* ob_item contains space for 'allocated' elements. The number
 * currently in use is ob_size.
 * Invariants:
 * 0 <= ob_size <= allocated
 * len(list) == ob_size
 * ob_item == NULL implies ob_size == allocated == 0
 * list.sort() temporarily sets allocated to -1 to detect mutations.
 *
 * Items must normally not be NULL, except during construction when
 * the list is not yet visible outside the function that builds it.
 */
 Py_ssize_t allocated;
} PyListObject;

Dict源码:

/* PyDict_MINSIZE is the minimum size of a dictionary. This many slots are
 * allocated directly in the dict object (in the ma_smalltable member).
 * It must be a power of 2, and at least 4. 8 allows dicts with no more
 * than 5 active entries to live in ma_smalltable (and so avoid an
 * additional malloc); instrumentation suggested this suffices for the
 * majority of dicts (consisting mostly of usually-small instance dicts and
 * usually-small dicts created to pass keyword arguments).
 */
#define PyDict_MINSIZE 8
 
typedef struct {
 /* Cached hash code of me_key. Note that hash codes are C longs.
 * We have to use Py_ssize_t instead because dict_popitem() abuses
 * me_hash to hold a search finger.
 */
 Py_ssize_t me_hash;
 PyObject *me_key;
 PyObject *me_value;
} PyDictEntry;
 
/*
To ensure the lookup algorithm terminates, there must be at least one Unused
slot (NULL key) in the table.
The value ma_fill is the number of non-NULL keys (sum of Active and Dummy);
ma_used is the number of non-NULL, non-dummy keys (== the number of non-NULL
values == the number of Active items).
To avoid slowing down lookups on a near-full table, we resize the table when
it's two-thirds full.
*/
typedef struct _dictobject PyDictObject;
struct _dictobject {
 PyObject_HEAD
 Py_ssize_t ma_fill; /* # Active + # Dummy */
 Py_ssize_t ma_used; /* # Active */
 
 /* The table contains ma_mask + 1 slots, and that's a power of 2.
 * We store the mask instead of the size because the mask is more
 * frequently needed.
 */
 Py_ssize_t ma_mask;
 
 /* ma_table points to ma_smalltable for small tables, else to
 * additional malloc'ed memory. ma_table is never NULL! This rule
 * saves repeated runtime null-tests in the workhorse getitem and
 * setitem calls.
 */
 PyDictEntry *ma_table;
 PyDictEntry *(*ma_lookup)(PyDictObject *mp, PyObject *key, long hash);
 PyDictEntry ma_smalltable[PyDict_MINSIZE];
};

PyObject_HEAD 源码:

#ifdef Py_TRACE_REFS
/* Define pointers to support a doubly-linked list of all live heap objects. */
#define _PyObject_HEAD_EXTRA  \
 struct _object *_ob_next;  \
 struct _object *_ob_prev;
 
#define _PyObject_EXTRA_INIT 0, 0,
 
#else
#define _PyObject_HEAD_EXTRA
#define _PyObject_EXTRA_INIT
#endif
 
/* PyObject_HEAD defines the initial segment of every PyObject. */
#define PyObject_HEAD   \
 _PyObject_HEAD_EXTRA  \
 Py_ssize_t ob_refcnt;  \
 struct _typeobject *ob_type;

PyObject_VAR_HEAD 源码:

/* PyObject_VAR_HEAD defines the initial segment of all variable-size
 * container objects. These end with a declaration of an array with 1
 * element, but enough space is malloc'ed so that the array actually
 * has room for ob_size elements. Note that ob_size is an element count,
 * not necessarily a byte count.
 */
#define PyObject_VAR_HEAD  \
 PyObject_HEAD   \
 Py_ssize_t ob_size; /* Number of items in variable part */

现在知道了dict为什么比list 占用的内存空间更大。接下来如何让你的类更加的节省内存。

其实有两种解决方案:

第一种是使用__slots__ ;另外一种是使用Collection.namedtuple 实现。

首先用标准的方式写一个类:

#!/usr/bin/env python

class Foobar(object):
 def __init__(self, x):
 self.x = x

@profile
def main():
 f = [Foobar(42) for i in range(1000000)]

if __name__ == "__main__":
 main()

然后,创建一个类Foobar(),然后实例化100W次。通过@profile查看内存使用情况。

运行结果:

python使用__slots__让你的代码更加节省内存

该代码共使用了372M内存。

接下来通过__slots__代码实现该代码:

#!/usr/bin/env python

class Foobar(object):
 __slots__ = 'x'
 def __init__(self, x):
 self.x = x
@profile
def main():
 f = [Foobar(42) for i in range(1000000)]

if __name__ == "__main__":
 main()

运行结果:

python使用__slots__让你的代码更加节省内存

使用__slots__使用了91M内存,比使用__dict__存储属性值节省了4倍。

其实使用collection模块的namedtuple也可以实现__slots__相同的功能。namedtuple其实就是继承自tuple,同时也因为__slots__的值被设置成了一个空tuple以避免创建__dict__。

看看collection是如何实现的:

python使用__slots__让你的代码更加节省内存

collection 和普通创建类方式相比,也节省了不少的内存。所在在确定类的属性值固定的情况下,可以使用__slots__方式对内存进行优化。但是这项技术不应该被滥用于静态类或者其他类似场合,那不是python程序的精神所在。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
跟老齐学Python之玩转字符串(2)
Sep 14 Python
Python的设计模式编程入门指南
Apr 02 Python
简单解析Django框架中的表单验证
Jul 17 Python
Python给你的头像加上圣诞帽
Jan 04 Python
python中使用PIL制作并验证图片验证码
Mar 15 Python
pandas DataFrame 删除重复的行的实现方法
Jan 29 Python
python使用正则表达式(Regular Expression)方法超详细
Dec 30 Python
浅谈python3 构造函数和析构函数
Mar 12 Python
Python如何测试stdout输出
Aug 10 Python
Python为何不支持switch语句原理详解
Oct 21 Python
Python os库常用操作代码汇总
Nov 03 Python
如何使用Python实现一个简易的ORM模型
May 12 Python
Python中__slots__属性介绍与基本使用方法
Sep 05 #Python
python使用xlrd和xlwt读写Excel文件的实例代码
Sep 05 #Python
python 3调用百度OCR API实现剪贴板文字识别
Sep 04 #Python
Python实现监控键盘鼠标操作示例【基于pyHook与pythoncom模块】
Sep 04 #Python
Python使用pyautogui模块实现自动化鼠标和键盘操作示例
Sep 04 #Python
Python PyAutoGUI模块控制鼠标和键盘实现自动化任务详解
Sep 04 #Python
selenium+python实现自动化登录的方法
Sep 04 #Python
You might like
php 文件上传系统手记
2009/10/26 PHP
PHP提取字符串中的图片地址[正则表达式]
2011/11/12 PHP
兼容各大浏览器带关闭按钮的漂浮多组图片广告代码
2014/06/05 PHP
php中运用http调用的GET和POST方法示例
2014/09/29 PHP
PHP错误机制知识汇总
2016/03/24 PHP
PHP使用new StdClass()创建空对象的方法分析
2017/06/06 PHP
JS遍历Json字符串中键值对先转成JSON对象再遍历
2014/08/15 Javascript
node.js中的fs.lchmodSync方法使用说明
2014/12/16 Javascript
jQuery实现仿Google首页拖动效果的方法
2015/05/04 Javascript
浅析Javascript ES6新增值比较函数Object.is
2016/08/24 Javascript
vue2.0开发实践总结之入门篇
2016/12/06 Javascript
为你的微信小程序体积瘦身详解
2017/05/20 Javascript
在react-router4中进行代码拆分的方法(基于webpack)
2018/03/08 Javascript
React中使用UEditor百度富文本的方法
2018/08/22 Javascript
微信小程序如何访问公众号文章
2019/07/08 Javascript
vue element 中的table动态渲染实现(动态表头)
2019/11/21 Javascript
vue-cli3中配置alias和打包加hash值操作
2020/09/04 Javascript
[01:13:01]2018DOTA2亚洲邀请赛 4.4 淘汰赛 TNC vs VG 第三场
2018/04/05 DOTA
[50:11]2018DOTA2亚洲邀请赛 4.7总决赛 LGD vs Mineski 第三场
2018/04/09 DOTA
详解使用python的logging模块在stdout输出的两种方法
2017/05/17 Python
Django实现组合搜索的方法示例
2018/01/23 Python
python并发和异步编程实例
2018/11/15 Python
详解python做UI界面的方法
2019/02/27 Python
Python3利用print输出带颜色的彩色字体示例代码
2019/04/08 Python
在python中实现调用可执行文件.exe的3种方法
2019/07/07 Python
Python Pandas对缺失值的处理方法
2019/09/27 Python
Python turtle库绘制菱形的3种方式小结
2019/11/23 Python
python如何提取英语pdf内容并翻译
2020/03/03 Python
使用OpenCV实现道路车辆计数的使用方法
2020/07/15 Python
美国儿童运动鞋和服装零售商:Kids Foot Locker
2017/08/05 全球购物
在对linux系统分区进行格式化时需要对磁盘簇(或i节点密度)的大小进行选择,请说明选择的原则
2012/11/24 面试题
酒店执行总经理岗位职责
2013/12/15 职场文书
小学生成长感言
2014/01/30 职场文书
仓库主管岗位职责
2014/03/02 职场文书
自主招生教师推荐信
2014/05/10 职场文书
高中同学会致辞
2015/08/01 职场文书