浅谈Python 对象内存占用


Posted in Python onJuly 15, 2016

一切皆是对象

在 Python 一切皆是对象,包括所有类型的常量与变量,整型,布尔型,甚至函数。 参见stackoverflow上的一个问题 Is everything an object in python like ruby

代码中即可以验证:

# everythin in python is object def fuction(): return print isinstance(True, object) print isinstance(0, object) print isinstance('a', object) print isinstance(fuction, object)

如何计算

Python 在 sys 模块中提供函数 getsizeof 来计算 Python 对象的大小。

sys.getsizeof(object[, default])

以字节(byte)为单位返回对象大小。 这个对象可以是任何类型的对象。 所以内置对象都能返回正确的结果 但不保证对第三方扩展有效,因为和具体实现相关。

......

getsizeof() 调用对象的 __sizeof__ 方法, 如果对象由垃圾收集器管理, 则会加上额外的垃圾收集器开销。

当然,对象内存占用与 Python 版本以及操作系统版本关系密切, 本文的代码和测试结果都是基于 windows7 32位操作系统。

import sys print sys.version

2.7.2 (default, Jun 24 2011, 12:21:10) [MSC v.1500 32 bit (Intel)]

基本类型

•布尔型

print 'size of True: %d' % (sys.getsizeof(True)) print 'size of False: %d' % (sys.getsizeof(False))

输出:

size of True: 12 size of False: 12

•整型

# normal integer print 'size of integer: %d' % (sys.getsizeof(1)) # long print 'size of long integer: %d' % (sys.getsizeof(1L)) print 'size of big long integer: %d' % (sys.getsizeof(100000L)) 输出:

size of integer: 12x size of long integer 1L: 14 size of long integer 100000L: 16

可以看出整型占用12字节,长整型最少占用14字节,且占用空间会随着位数的增多而变大。 在2.x版本,如果整型类型的值超出sys.maxint,则自动会扩展为长整型。而 Python 3.0 之后,整型和长整型统一为一种类型。

•浮点型

print 'size of float: %d' % (sys.getsizeof(1.0))

输出:

size of float: 16

浮点型占用16个字节。超过一定精度后会四舍五入。

参考如下代码:

print 1.00000000003 print 1.000000000005

输出:

1.00000000003 1.00000000001

•字符串

# size of string type print '\r\n'.join(["size of string with %d chars: %d" % (len(elem), sys.getsizeof(elem)) for elem in ["", "a", "ab"]]) # size of unicode string print '\r\n'.join(["size of unicode string with %d chars: %d" % (len(elem), sys.getsizeof(elem)) for elem in [u"", u"a", u"ab"]])

输出:

size of string with 0 chars: 21 size of string with 1 chars: 22 size of string with 2 chars: 23 size of unicode string with 0 chars: 26 size of unicode string with 1 chars: 28 size of unicode string with 2 chars: 30

普通空字符串占21个字节,每增加一个字符,多占用1个字节。Unicode字符串最少占用26个字节,每增加一个字符,多占用2个字节。

集合类型

•列表

# size of list type print '\r\n'.join(["size of list with %d elements: %d" % (len(elem), sys.getsizeof(elem)) for elem in [[], [0], [0,2], [0,1,2]]])

输出:

size of list with 0 elements: 36 size of list with 1 elements: 40 size of list with 2 elements: 44 size of list with 3 elements: 48

可见列表最少占用36个字节,每增加一个元素,增加4个字节。但要注意,sys.getsizeof 函数并不计算容器类型的元素大小。比如:

print 'size of list with 3 integers %d' % (sys.getsizeof([0,1,2])) print 'size of list with 3 strings %d' % (sys.getsizeof(['0','1','2']))

输出:

size of list with 3 integers 48 size of list with 3 strings 48

容器中保存的应该是对元素的引用。如果要准确计算容器,可以参考recursive sizeof recipe 。使用其给出的 total_size 函数:

print 'total size of list with 3 integers %d' % (total_size([0,1,2])) print 'total size of list with 3 strings %d' % (total_size(['0','1','2']))

输出为:

total size of list with 3 integers 84 total size of list with 3 strings 114

可以看出列表的空间占用为 基本空间 36 + (对象引用 4 + 对象大小) * 元素个数。

另外还需注意如果声明一个列表变量,则其会预先分配一些空间,以便添加元素时增加效率:

li = [] for i in range(0, 101): print 'list with %d integers size: %d, total_size: %d' % (i, getsizeof(li), total_size(li)) li.append(i)

•元组

基本与列表类似,但其最少占用为28个字节。

•字典

字典的情况相对复杂很多,具体当然要参考代码 dictobject.c, 另外 NOTES ON OPTIMIZING DICTIONARIES 非常值得仔细阅读。

基本情况可以参考[stackoverflow] 的问题 Python's underlying hash data structure for dictionaries 中的一些回答:

•字典最小拥有8个条目的空间(PyDict_MINSIZE);
•条目数小于50,000时,每次增长4倍;
•条目数大于50,000时,每次增长2倍;
•键的hash值缓存在字典中,字典调整大小后不会重新计算;

每接近2/3时,字典会调整大小。

以上这篇浅谈Python 对象内存占用就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
分析python服务器拒绝服务攻击代码
Jan 16 Python
python网络编程学习笔记(五):socket的一些补充
Jun 09 Python
python实现通过代理服务器访问远程url的方法
Apr 29 Python
python实现域名系统(DNS)正向查询的方法
Apr 19 Python
Python Pandas找到缺失值的位置方法
Apr 12 Python
pandas数据清洗,排序,索引设置,数据选取方法
May 18 Python
浅谈DataFrame和SparkSql取值误区
Jun 09 Python
Python DataFrame设置/更改列表字段/元素类型的方法
Jun 09 Python
Django中的forms组件实例详解
Nov 08 Python
Python3爬取英雄联盟英雄皮肤大图实例代码
Nov 14 Python
Python中拆分字符串的操作方法
Jul 23 Python
详解python os.path.exists判断文件或文件夹是否存在
Nov 16 Python
python发送邮件功能实现代码
Jul 15 #Python
Python中列表和元组的使用方法和区别详解
Dec 30 #Python
Python中的变量和作用域详解
Jul 13 #Python
在Python中通过threading模块定义和调用线程的方法
Jul 12 #Python
举例讲解Python编程中对线程锁的使用
Jul 12 #Python
使用Python编写一个最基础的代码解释器的要点解析
Jul 12 #Python
Python中使用bidict模块双向字典结构的奇技淫巧
Jul 12 #Python
You might like
解析PHP留言本模块主要功能的函数说明(代码可实现)
2013/06/25 PHP
浅析PHP安装扩展mcrypt以及相关依赖项(PHP安装PECL扩展的方法)
2013/07/05 PHP
PHP连接MySQL的2种方法小结以及防止乱码
2014/03/11 PHP
PHP实现获取客户端IP并获取IP信息
2015/03/17 PHP
基于CI(CodeIgniter)框架实现购物车功能的方法
2018/04/09 PHP
广泛收集的jQuery拖放插件集合
2012/04/09 Javascript
js jquery验证银行卡号信息正则学习
2013/01/21 Javascript
有关于JS构造函数的重载和工厂方法
2013/04/07 Javascript
基于dom编程中 动态创建与删除元素的使用
2013/04/17 Javascript
查看大图功能代码jquery版
2013/11/05 Javascript
js锁屏解屏通过对$.ajax进行封装实现
2014/07/31 Javascript
基于Arcgis for javascript实现百度地图ABCD marker的效果
2015/09/12 Javascript
JS 实现倒计时数字时钟效果【附实例代码】
2016/03/30 Javascript
jQuery替换节点用法示例(使用replaceWith方法)
2016/09/08 Javascript
Bootstrap 表单验证formValidation 实现远程验证功能
2017/05/17 Javascript
基于vue组件实现猜数字游戏
2020/05/28 Javascript
js构造函数创建对象是否加new问题
2018/01/22 Javascript
webpack3.0升级4.0的方法步骤
2020/04/02 Javascript
JavaScript oncopy事件用法实例解析
2020/05/13 Javascript
Vue组件跨层级获取组件操作
2020/07/27 Javascript
[04:11]DOTA2上海特级锦标赛主赛事首日TOP10
2016/03/03 DOTA
python的迭代器与生成器实例详解
2014/07/16 Python
在Django的模板中使用认证数据的方法
2015/07/23 Python
window下eclipse安装python插件教程
2017/04/24 Python
Python安装模块的常见问题及解决方法
2018/02/05 Python
Python根据已知邻接矩阵绘制无向图操作示例
2018/06/23 Python
Python pandas用法最全整理
2019/08/04 Python
彻底搞懂 python 中文乱码问题(深入分析)
2020/02/28 Python
PyChon中关于Jekins的详细安装(推荐)
2020/12/28 Python
英国在线照明超市:Castlegate Lights
2019/10/30 全球购物
运动会通讯稿100字
2014/01/31 职场文书
货物运输服务质量承诺书
2014/05/29 职场文书
退休党员个人对照检查材料思想汇报
2014/09/29 职场文书
接待员岗位职责
2015/02/13 职场文书
余世维讲座观后感
2015/06/11 职场文书
团支部书记竞选稿
2015/11/21 职场文书