Python中的Descriptor描述符学习教程


Posted in Python onJune 02, 2016

Descriptor是什么?简而言之,Descriptor是用来定制访问类或实例的成员的一种协议。额。。好吧,一句话是说不清楚的。下面先介绍一下Python中成员变量的定义和使用。
我们知道,在Python中定义类成员和C/C++相比得到的结果具有很大的差别。如下面的定义:

class Cclass
 {
   int I;
   void func();
 };
 
 Cclass c;

在上面的定义中,C++定义了一个类型,所有该类型的对象都包含有一个成员整数i和函数func;而Python则创建了一个名为Pclass、类型(__class__)为type(详情请参见MetaClass,Python中一切皆为对象,类型也不例外)的对象,然后再创建一个名为p、类型为Pclass的对象。如下所示:

In [71]: type(pclass)
 Out[71]: <type 'type'>
 In [72]: p = pclass()
 In [73]: type(p)
 Out[73]: <class '__main__.pclass'>

p和Pclass各自包含了一些成员,如下所示:
1 p.__class__ p.__init__ p.__sizeof__
2 p.__delattr__ p.__module__ p.__str__
3 p.__dict__ p.__new__ p.__subclasshook__
4 p.__doc__ p.__reduce__ p.__weakref__
5 p.__format__ p.__reduce_ex__ p.f
6 p.__getattribute__ p.__repr__ p.i
7 p.__hash__ p.__setattr__

其中,带有双下划线的成员为特殊成员,或者可以称之为固定成员(和__slots__定义的成员类似),这些成员变量的值可以被改变,但不能被删除(del)。其中,__class__变量为对象所属的类型,__doc__为对象的文档字符串。有一个特殊成员值得注意:__dict__,该字典中保存了对象的自定义变量。相信大家在初学Python对于其中对象可以任意增加删除成员变量的能力感到惊讶,其实这个功能的玄机就在于__dict__成员中(注意type的__dict__为dictproxy类型):

In [10]: p.x = 2
 In [11]: p.__dict__
 Out[11]: {'x': 2}

通过上面的演示可以很清楚地看出:Python将对象的自定义成员以键值对的形式保存到__dict__字典中,而前面提到的类型定义只是这种情况的语法糖而已,即上面的类型定义等价于以下形式的定义:

Class Pclass(object): pass
 Pclass.i = 1
 Pclass.f = lambda x: x

访问成员变量时,Python也是从__dict__字典中取出变量名对应的值,如下形式的两种访问形式是等价的——在Descriptor被引入之前:

p.i
 p.__dict__['i']

Descriptor的引入即将改变上面的规则,且看下文分解。
定义:Descriptor Protocol
    Descriptor如何改变对象成员的访问规则呢?根据计算机理论中“绝大多数软件问题都可以用增加一个中间层的方式解决”这一名言,我们需要为对象访问提供一个中间层,而非直接访问所需的对象。实现这一中间层的方式是定义Descriptor协议。Descriptor的定义很简单,如果一个类包含以下三个方法(之一),则可以称之为一个Descriptor:

1.object.__get__(self, instance, owner)

成员被访问时调用,instance为成员所属的对象、owner为instance所属的类型

2.object.__set__(self, instance, value)

成员被赋值时调用

3.0object.__delete__(self, instance)

成员被删除时调用

如果我们需要改变一个对象在其它对象中的访问规则,需要将其定义成Descriptor,之后在对该成员进行访问时将调用该Descriptor的相应函数。下面是一个使用Descriptor改变访问规则的例子:

class MyDescriptor(object):
   def __init__(self, x):
     self.x = x
   def __get__(self, instance, owner):
     print 'get from descriptor'
     return self.x
   def __set__(self, instance, value):
     print 'set from descriptor'
     self.x = value
   def __delete__(self, instance)
     print 'del from descriptor, the val is', self.x
 
 class C(object):
   d = MyDescriptor('hello')
 
 >> C.d
 get from descriptor
 
 >> c = C()
 >> c.d
 get from descriptor
 
 >> c.d = 1
 set from descriptor
 
 >> del c.d
 del from descriptor, the val is 1

从例子中可以看出:当我们对对象成员进行引用(Reference)、赋值(Assign)和删除(Dereference)操作时,如果对象成员为一个Descriptor,则这些操作将执行该Descriptor对象的相应成员函数。以上约定即为Descriptor协议。

obj.name背后的魔法
引入了Descriptor之后,Python对于对象成员访问的规则是怎样的呢?在回答这一问题之前,需要对Descriptor进行简单的划分:

Overriding或Data:对象同时提供了__get__和__set__方法

Nonoverriding或Non-Data:对象仅提供了__get__方法

(__del__方法表示自己被忽略了,很伤心~)

下面是从一个类对象中访问其成员(如C.name)的规则:

如果“name”在C.__dict__能找到,C.name将访问C.__dict__['name'],假设为v。如果v是一个Descriptor,则返回type(v).__get__(v, None, C),否则直接返回v;

如果“name”不在C.__dict__中,则向上查找C的父类,根据MRO(Method Resolution Order)对C的父类重复第一步;

还是没有找到“name”,抛出AttributeError异常。

从一个类实例对象中访问其成员(如x.name,type(x)为C)要稍微复杂一些:

如果“name”能在C(或C的父类)中找到,且其值v为一个Overriding Descriptor,则返回type(v).__get__(v, x, C)的值;

否则,如果“name”能在x.__dict__中找到,则返回x.__dict__['name']的值;

如果“name”仍未找到,则执行类对象成员的查找规则;

如果C定义了__getattr__函数,则调用该函数;否则抛出AttributeError异常。

成员赋值的查找规则与访问规则类似,但还是有一点区别:对类成员执行赋值操作时将直接设置C.__dict__中的值,而不会调用Descriptor的__set__函数。

以上面的代码为例,当访问C.d时,Python将在C.__dict__中找到d,并且发现d是一个Descriptor,因此将调用d.__get__(None, C);当访问c.d时,Python首先查找C,并且在其中发现d的定义,且d为一个Overriding Descriptor,因此执行d.__get__(c, C)。

前面介绍了Descriptor的一些细节,那么Descriptor的作用是什么呢?在Python中,Descriptor主要用来实现一些Python本身的功能,如类方法调用、staticmethod和Property等。下面将对这些使用Descriptor进行类方法调用的实现进行介绍。

Bound & Unbound Method
在python中,函数是第一级的对象,即其本质与其它对象相同,差别在于函数对象是callable对象,即对于函数对象f,可以用语法f()来调用函数。上面提到的对象成员访问规则,对于函数来说是完全一样的。Python在实现成员函数调用时obj.f()时,会执行一下两个步骤:

根据对象成员访问规则获取函数对象;

用函数对象执行函数调用;

为了验证上述过程,我们可以执行以下代码:
 

Class C(object):
   def f(self):
     pass
 >> fun = C.f
 Unbound Method
 >> fun()
 >> c = C()
 >> fun = c.f
 Bound Method
 >> fun()

我们可以看到C.f和c.f返回了instancemethod类型的对象,这两个对象也是可调用的,但是却不是我们本以为的func对象。那么instancemethod对象和func对象之间具有什么关联呢?

func类型:func类型为Python中原始的函数对象类型,即def f(): pass将定义一个func类型的对象f;

instancemethod:func的一个wrapper,如果类方法没有绑定到对象,则该instancemethod为一个Unbound Method,对Unbound Method的调用将导致TypeError错误;如果类方法绑定到了对象,则该instancemethod为一个Bound Method,对Bound Method的调用不许要指定self参数的值。

如果查看Unbound Method对象和Bound Method对象的成员,我们可以发现它们都包含了一下三个成员:im_func、im_self和im_class。其中im_func为所封装的func对象,im_self则为所绑定对象的值,而im_class则为定义该函数的类对象。由此我们可以知道,Python会根据不同的情况返回函数的不同wrapper,当通过类对象访问函数时,返回的是名为Unbound Method对象的Wrapper,而通过类实例访问函数是,返回的则是绑定了该实例的名为Bound Method对象的Wrapper。

现在是Descriptor大显身手的时候了。

Python中将func定义为一个Overriding Descriptor,在其__get__方法中构造一个instancemethod对象,并根据被访问函数被访问的情况设置im_func、im_self和im_class成员。在instancemethod实例被调用时,则根据im_func和im_self来完成真正的函数调用。演示这一过程的代码如下:

Class instancemethod(object):
   def __call__(self, *args):
     if self.im_self == None:
     raise 'unbound error'
     return self.im_func(self.im_self, *args)
   def __init__(self, im_self, im_func, im_class):
     self.im_self = im_self
     self.im_func = im_func
     self.im_class = im_class
 
 class func(object):
   ...
   def __get__(self, instance, owner):
     return instancemethod(instance, self, owner)
   def __set__(self, instance, value):
     pass
   ...

一个小问题的解决
分享一下刚遇到的一个小问题,我有一段类似于这样的python代码:

# coding: utf-8

class A(object):

  @property
  def _value(self):
#    raise AttributeError("test")
    return {"v": "This is a test."}

  def __getattr__(self, key):
    print "__getattr__:", key
    return self._value[key]

if __name__ == '__main__':
  a = A()
  print a.v

运行后可以得到正确的结果

__getattr__: v
This is a test.

但是注意,如果把

#    raise AttributeError("test")

这行的注释去掉的话,即在_value方法里面抛出AttributeError异常,事情就会变得有些奇怪。程序运行的时候并不会抛出异常,而是会进入一个无限递归:

File "attr_test.py", line 12, in __getattr__
  return self._value[key]
 File "attr_test.py", line 12, in __getattr__
  return self._value[key]
RuntimeError: maximum recursion depth exceeded while calling a Python object

通过多方查找后发现是property装饰器的问题,property实际上是一个descriptor。在python doc中可以发现这样的文字:

object.__get__(self, instance, owner)

Called to get the attribute of the owner class (class attribute access) or of an instance of that class (instance attribute access). owner is always the owner class, while instance is the instance that the attribute was accessed through, or None when the attribute is accessed through the owner. This method should return the (computed) attribute value or raise an AttributeError exception.

这样当用户访问._value时,抛出了AttributeError从而调用了__getattr__方法去尝试获取。这样程序就变成了无限递归。

这个问题看上去不复杂,但是当你的_value方法是比较隐晦的抛出AttributeError的话,调试起来就会比较困难了。

小结
Descriptor是访问对象成员时的一个中间层,为我们提供了自定义对象成员访问的方式。通过对Descriptor的探索,对原来的一些看似神秘的概念顿时有种豁然开朗的感觉:

类方法调用:编译器并没有为其提供专门的语法规则,而是使用Descriptor返回instancemethod来封装func,从而实现类似obj.func()的调用方式;

staticmethod:decorator将创建一个StaticMethod并在其中保存func对象,StaticMethod是一个Descriptor,其__get__函数中返回前面所保存的func对象;

Property:创建一个Property对象,在其__get__、__set__和__delete__方法中分别执行构造对象是传入的fget、fset、和fdel函数。现在知道为什么Property只提供这三个函数作为参数么。。

最后一个问题是,Python引入Descriptor之后的性能会不会有影响?性能影响是必须的:每次访问成员时的查找规则,之后再调用Descriptor的__get__函数,如果是方法调用的话之后才是执行真正的函数调用。每次访问对象成员时都要经历以上过程,对Python的性能应该会有较大的影响。但是,在Python的世界,貌似Pythonic才是被关注的重点,性能神马的就别提了。。

Python 相关文章推荐
跟老齐学Python之数据类型总结
Sep 24 Python
Python实现的简单hangman游戏实例
Jun 28 Python
python 判断矩阵中每行非零个数的方法
Jan 26 Python
Python使用MyQR制作专属动态彩色二维码功能
Jun 04 Python
python并发编程 Process对象的其他属性方法join方法详解
Aug 20 Python
Python猜数字算法题详解
Mar 01 Python
Django Admin 上传文件到七牛云的示例代码
Jun 20 Python
python怎么对数字进行过滤
Jul 05 Python
python 用opencv实现图像修复和图像金字塔
Nov 27 Python
termux中matplotlib无法显示中文问题的解决方法
Jan 11 Python
VSCODE配置Markdown及Markdown基础语法详解
Jan 19 Python
python如何利用traceback获取详细的异常信息
Jun 05 Python
从源码解析Python的Flask框架中request对象的用法
Jun 02 #Python
Python搭建APNS苹果推送通知推送服务的相关模块使用指南
Jun 02 #Python
Python的Django框架中使用SQLAlchemy操作数据库的教程
Jun 02 #Python
实例解析Python中的__new__特殊方法
Jun 02 #Python
详解Python中的__new__、__init__、__call__三个特殊方法
Jun 02 #Python
Python实现优先级队列结构的方法详解
Jun 02 #Python
KMP算法精解及其Python版的代码示例
Jun 01 #Python
You might like
一段php加密解密的代码
2007/07/16 PHP
PHP获取MSN好友列表类的实现代码
2013/06/23 PHP
ajax返回值中有回车换行、空格的解决方法分享
2013/10/24 PHP
PHP指定截取字符串中的中英文或数字字符的实例分享
2016/03/18 PHP
PHP实现二维数组根据key进行排序的方法
2016/12/30 PHP
laravel实现按时间日期进行分组统计方法示例
2019/03/23 PHP
如何用javascript判断录入的日期是否合法
2007/01/08 Javascript
javascript 面向对象全新理练之原型继承
2009/12/03 Javascript
小结Node.js中非阻塞IO和事件循环
2014/09/18 Javascript
D3.js中data(), enter() 和 exit()的问题详解
2015/08/17 Javascript
JS实现浏览器状态栏文字闪烁效果的方法
2015/10/27 Javascript
js 截取或者替换字符串中的数字实现方法
2016/06/13 Javascript
Json按某个键的值进行排序
2016/12/22 Javascript
分享bootstrap学习笔记心得(组件及其属性)
2017/01/11 Javascript
JavaScript运动框架 解决防抖动问题、悬浮对联(二)
2017/05/17 Javascript
JavaScript实现的浏览器下载文件的方法
2017/08/09 Javascript
基于vue-cli vue-router搭建底部导航栏移动前端项目
2018/02/28 Javascript
微信小程序实现手指触摸画板
2018/07/09 Javascript
Python压缩和解压缩zip文件
2015/02/14 Python
Linux RedHat下安装Python2.7开发环境
2017/05/20 Python
python实现C4.5决策树算法
2018/08/29 Python
python实现tail实时查看服务器日志示例
2019/12/24 Python
如何基于python操作excel并获取内容
2019/12/24 Python
Python SSL证书验证问题解决方案
2020/01/13 Python
Django实现将views.py中的数据传递到前端html页面,并展示
2020/03/16 Python
python+selenium 简易地疫情信息自动打卡签到功能的实现代码
2020/08/22 Python
python 多线程共享全局变量的优劣
2020/09/24 Python
python从PDF中提取数据的示例
2020/10/30 Python
Jupyter Notebook添加代码自动补全功能的实现
2021/01/07 Python
JDO的含义
2012/11/17 面试题
外贸主管求职简历的自我评价
2013/10/23 职场文书
机电一体化职业规划书
2014/01/07 职场文书
公职人员索取回扣检举信
2014/04/04 职场文书
小学运动会通讯稿
2015/07/18 职场文书
美甲店的创业计划书模板
2019/08/23 职场文书
pytorch中的model=model.to(device)使用说明
2021/05/24 Python