Python中Iterator迭代器的使用杂谈


Posted in Python onJune 20, 2016

迭代器是一种支持next()操作的对象。它包含一组元素,当执行next()操作时,返回其中一个元素;当所有元素都被返回后,生成一个StopIteration异常。

>>>a=[1,2,3]
>>>ia=iter(a)
>>>next(ia)
1
>>>next(ia)
2
>>>next(ia)
3
>>>next(ia)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration

ite()可以接受多种Python对象为参数,比如list,tuple, dict, set等,并将其转化为迭代器。迭代器可以用于for语句或in语句中。很多常用操作也是支持迭代器的,比如sum(), max()等。

>>> b=[4,5,6]
>>> ib=iter(b)
>>> for x in ib:
...   print(x)
...
4
5
6
>>> ic=iter(b)
>>> sum(ic)
15
>>> id=iter(b)
>>> max(ic)
6

毋庸置疑,迭代器有很多好处:

1.“流式”数据处理方式减少内存消耗:
比如处理文件,一下猛地把全部数据全部取出来放到内存里面进行处理会导致程序消耗大量内存,有时甚至没法做到,一般我们会一部分一部分的对文件内容进行处理:

for text_line in open("xx.txt"):
 print text_line

2.或者对xml文件进行处理的时候:

tree = etree.iterparse(xml, ['start', 'end'])
for event, elem in tree:
  if event == "end"
    result = etree.tostring(elem)
    elem.clear()
    print result

内置函数open返回的file对象和etree.iterparse序列化的xml tree都是可迭代对象,能够让我们渐进式地对文件的内容进行处理。

3.支持方便用for语句对数据进行消费:
python内置的一些常见的像类型像数组、列表甚至字符串等都是可迭代类型,这样我们就能方便for语句这个语法糖方便对数据进行消费,不需要自己记录索引位置,人肉循环:

for i in [1, 2, 3, 4]
 print i,

简单了解了一下迭代器的好处后,我们正正经经的聊聊python的迭代器模式。
在这里我们引入两个比较绕口的名词:可迭代对象和迭代器对象,个人觉得从这两个概念下手会对迭代器有比较好的理解。在放例子前先对这两个概念给一个不入流的解释:

可迭代对象:对象里面包含__iter()__方法的实现,对象的iter函数经调用之后会返回一个迭代器,里面包含具体数据获取的实现。
迭代器:包含有next方法的实现,在正确范围内返回期待的数据以及超出范围后能够抛出StopIteration的错误停止迭代。
放个例子边看边说:

class iterable_range:
  def __init__(self, n):
    self.n = n

  def __iter__(self):
    return my_range_iterator(self.n)

class my_range_iterator:
  def __init__(self, n):
    self.i = 0
    self.n = n

  def next(self):
    if self.i < self.n:
      i = self.i
      self.i += 1
      print 'iterator get number:', i
      return i
    else:
      raise StopIteration()

例子中的iterable_range是一个可迭代对象,所以我们也能够对它用for语句来进行迭代:

temp = my_range(10)
for item in temp:
  print item,

输出:

my iterator get number: 0
  0
  my iterator get number: 1
  1
  my iterator get number: 2
  2
  my iterator get number: 3
  3
  my iterator get number: 4
  4
  my iterator get number: 5
  5
  my iterator get number: 6
  6
  my iterator get number: 7
  7
  my iterator get number: 8
  8
  my iterator get number: 9
  9

大家可以仔细地看一下输出的日志:

  • 数据确实是“流式”处理的
  • iterator是真正在背后做事的人
  • for语句能够非常方便的迭代对象的数据。

可迭代对象其实更像是整个迭代器模式模式的上层,像一种约束一种契约一种规范,它能够保证自己能够返回一个在实际工作中干活的迭代器对象。for、sum等接受一个可迭代对象的方法都是遵循这样的规范:调用对象的__iter__函数,返回迭代器,对迭代器对象返回的每个值进行处理抑或需要一些汇总的操作。拿for举个例子:

iterator_object = iterable_object.__iter__()
while True:
  try:
    value = iterator_object.next()
  except StopIteration:
    # StopIteration exception is raised after last element
    break

  # loop code
  print value

for这个语法糖背后的逻辑差不多就是上面例子中代码所示的那样:首先获取可迭代对象返回的迭代器对象,然后调用迭代器对象的next方法获取每个值,在获取值的过程中随时检测边界-也就是检查是否抛出了StopIteration这样的错误,如果迭代器对象抛出错误则迭代停止(note:从这个例子可以看出,对于那些接受可迭代对象的方法,如果我们传一个单纯的迭代器对象其实也是无法工作的,可能会报出类似于TypeError: iteration over non-sequence的错误)。
当然了,一般在应用过程中我们不会将他们特意的分开,我们能够稍微对迭代器对象进行修改一下,添加__iter__方法的实现,这样对象本身就既是可迭代对象也是一个迭代器对象了:

class my_range_iterator:
   def __init__(self, n):
    self.i = 0
    self.n = n

   def __iter__(self):
    return self

   def next(self):
    if self.i < self.n:
      i = self.i

      self.i += 1
      print 'my iterator get number:', i
      return i
    else:
      raise StopIteration()

 for item in my_range_iterator(10):
   print item

输出:

 

my iterator get number: 0
  0
  my iterator get number: 1
  1
  my iterator get number: 2
  2
  my iterator get number: 3
  3
  my iterator get number: 4
  4
  my iterator get number: 5
  5
  my iterator get number: 6
  6
  my iterator get number: 7
  7
  my iterator get number: 8
  8
  my iterator get number: 9
  9
Python 相关文章推荐
Python中List.count()方法的使用教程
May 20 Python
python3实现163邮箱SMTP发送邮件
May 22 Python
Python socket模块实现的udp通信功能示例
Apr 10 Python
Pythony运维入门之Socket网络编程详解
Apr 15 Python
python 使用turtule绘制递归图形(螺旋、二叉树、谢尔宾斯基三角形)
May 30 Python
Django Form 实时从数据库中获取数据的操作方法
Jul 25 Python
基于Django静态资源部署404的解决方法
Jul 28 Python
Python 多线程其他属性以及继承Thread类详解
Aug 28 Python
Python使用docx模块实现刷题功能代码
Feb 13 Python
python爬虫开发之urllib模块详细使用方法与实例全解
Mar 09 Python
基于python图像处理API的使用示例
Apr 03 Python
Keras框架中的epoch、bacth、batch size、iteration使用介绍
Jun 10 Python
实例讲解Python编程中@property装饰器的用法
Jun 20 #Python
Python的包管理器pip更换软件源的方法详解
Jun 20 #Python
python3.5使用tkinter制作记事本
Jun 20 #Python
浅谈python抛出异常、自定义异常, 传递异常
Jun 20 #Python
python3 与python2 异常处理的区别与联系
Jun 19 #Python
浅谈Python的异常处理
Jun 19 #Python
qpython3 读取安卓lastpass Cookies
Jun 19 #Python
You might like
谈谈新手如何学习PHP
2006/12/23 PHP
详解PHP执行定时任务的实现思路
2015/12/21 PHP
微信支付的开发流程详解
2016/09/13 PHP
PHP结合Redis+MySQL实现冷热数据交换应用案例详解
2019/07/09 PHP
jquery ajax修改全局变量示例代码
2013/11/08 Javascript
nodejs npm install全局安装和本地安装的区别
2014/06/05 NodeJs
JavaScript使用循环和分割来替换和删除元素实例
2014/10/13 Javascript
JavaScript前端图片加载管理器imagepool使用详解
2014/12/29 Javascript
jQuery大于号(&gt;)选择器的作用解释
2015/01/13 Javascript
JavaScript实现将数组中所有元素连接成一个字符串的方法
2015/04/06 Javascript
JavaScript实现的类字典插入或更新方法实例
2015/07/10 Javascript
jqGrid表格应用之新增与删除数据附源码下载
2015/12/02 Javascript
JS运动相关知识点小结(附弹性运动示例)
2016/01/08 Javascript
Bootstrap中点击按钮后变灰并显示加载中实例代码
2016/09/23 Javascript
JAVA Web实时消息后台服务器推送技术---GoEasy
2016/11/04 Javascript
Vue.js实现简单ToDoList 前期准备(一)
2016/12/01 Javascript
jQuery Validate 相关参数及常用的自定义验证规则
2017/03/06 Javascript
jQuery扇形定时器插件pietimer使用方法详解
2017/07/18 jQuery
理解nodejs的stream和pipe机制的原理和实现
2017/08/12 NodeJs
webpack 3.X学习之多页面打包的方法
2018/09/04 Javascript
Vue根据条件添加click事件的方式
2019/11/09 Javascript
vue父子组件的通信方法(实例详解)
2019/11/10 Javascript
PYTHON 中使用 GLOBAL引发的一系列问题
2016/10/12 Python
python正向最大匹配分词和逆向最大匹配分词的实例
2018/11/14 Python
利用python实现凯撒密码加解密功能
2020/03/31 Python
如何解决安装python3.6.1失败
2020/07/01 Python
Python实现AES加密,解密的两种方法
2020/10/03 Python
如何用Python和JS实现的Web SSH工具
2021/02/23 Python
css3高级选择器使用方法
2013/12/02 HTML / CSS
成都思必达公司C#程序员招聘面试题
2013/06/26 面试题
人事主管岗位职责范本
2013/12/04 职场文书
玄武湖导游词
2015/02/05 职场文书
2015年房产销售工作总结范文
2015/05/22 职场文书
python设置 matplotlib 正确显示中文的四种方式
2021/05/10 Python
无线电知识基础入门篇
2022/02/18 无线电
台积电称即便经济低迷也没有降价的计划
2022/04/21 数码科技