详解Python3中yield生成器的用法


Posted in Python onAugust 20, 2015

任何使用yield的函数都称之为生成器,如:

def count(n): 
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

另外一种说法:生成器就是一个返回迭代器的函数,与普通函数的区别是生成器包含yield语句,更简单点理解生成器就是一个迭代器。

使用yield,可以让函数生成一个序列,该函数返回的对象类型是"generator",通过该对象连续调用next()方法返回序列值。

c = count(5) 
c.__next__() #python 3.4.3要使用c.__next__()不能使用c.next()
>>> 5 
c.__next__() 
>>>4

生成器函数只有在调用__next()__方法的时候才开始执行函数里面的语句,比如:

def count(n): 
  print ( "cunting" )
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

在调用count函数时:c=count(5),并不会打印"counting"只有等到调用c.__next__()时才真正执行里面的语句。每次调用__next__()方法时,count函数会运行到语句yield n处为止,__next__()的返回值就是生成值n,再次调用__next__()方法时,函数继续执行yield之后的语句(熟悉Java的朋友肯定知道Thread.yield()方法,作用是暂停当前线程的运行,让其他线程执行),如:

def count(n): 
  print ("cunting" ) 
  while n > 0: 
    print ('before yield') 
    yield n  #生成值:n 
    n -= 1 
    print ('after yield' )

 

上述代码在第一次调用__next__方法时,并不会打印"after yield"。如果一直调用__next__方法,当执行到没有可迭代的值后,程序就会报错:

Traceback (most recent call last): File "", line 1, in StopIteration
所以一般不会手动的调用__next__方法,而使用for循环:

for i in count(5): 
  print (i),

实例: 用yield生成器模拟Linux中命令:tail -f file | grep python 用于查找监控日志文件中出现有python字样的行。

import time  
def tail(f):  
  f.seek(0,2)#移动到文件EOF 
  while True:  
    line = f.readline() #读取文件中新的文本行 
    if not line:  
      time.sleep(0.1)  
      continue  
    yield line  
  
def grep(lines,searchtext):  
  for line in lines:  
    if searchtext in line:  
      yield line 
 
flog = tail(open('warn.log'))  
pylines = grep(flog,'python')  
for line in pylines:  
  print ( line, ) 
#当此程序运行时,若warn.log文件中末尾有新增一行,且该一行包含python,该行就会被打印出来 
#若打开warn.log时,末尾已经有了一行包含python,该行不会被打印,因为上面是f.seek(0,2)移动到了文件EOF处 
#故,上面程序实现了tail -f warn.log | grep 'python'的功能,动态实时检测warn.log中是否新增现了 
#新的行,且该行包含python

用yield实现斐波那契数列:

def fibonacci(): 
  a=b=1 
  yield a 
  yield b 
  while True: 
    a,b = b,a+b 
    yield b

调用:

for num in fibonacci(): 
  if num > 100: 
    break 
  print (num),

yield中return的作用:
作为生成器,因为每次迭代就会返回一个值,所以不能显示的在生成器函数中return 某个值,包括None值也不行,否则会抛出“SyntaxError”的异常,但是在函数中可以出现单独的return,表示结束该语句。
通过固定长度的缓冲区不断读文件,防止一次性读取出现内存溢出的例子:

def read_file(path): 
  size = 1024 
  with open(path,'r') as f: 
    while True: 
      block = f.read(SIZE) 
      if block: 
        yield block 
      else: 
        return

 

如果是在函数中return 具体某个值,就直接抛异常了

>>> def test_return(): 
...   yield 4 
...   return 0 
... 
 File "<stdin>", line 3 
SyntaxError: 'return' with argument inside generator

例子

下面来看几段代码示例:

例1:

>>> def mygenerator(): 
...   print 'start...' 
...   yield 5 
...  
>>> mygenerator()      //在此处调用,并没有打印出start...说明存在yield的函数没有被运行,即暂停 
<generator object mygenerator at 0xb762502c> 
>>> mygenerator().next()   //调用next()即可让函数运行. 
start... 
5 
>>>

如一个函数中出现多个yield则next()会停止在下一个yield前,见例2:

例2:

>>> def fun2(): 
...   print 'first' 
...   yield 5 
...   print 'second' 
...   yield 23 
...   print 'end...' 
...  
>>> g1 = fun2() 
>>> g1.next()       //第一次运行,暂停在yield 5        
first 
5 
>>> g1.next()       //第二次运行,暂停在yield 23 
second 
23 
>>> g1.next()       //第三次运行,由于之后没有yield,再次next()就会抛出错误 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration 
>>>

为什么yield 5会输出5,yield 23会输出23?
我们猜测可能是因为yield是表达式,存在返回值.
那么这是否可以认为yield 5的返回值一定是5吗?实际上并不是这样,这个与send函数存在一定的关系,这个函数实质上与next()是相似的,区别是send是传递yield表达式的值进去,而next不能传递特定的值,只能传递None进去,因此可以认为g.next()和g.send(None)是相同的。见例3:

例3:

>>> def fun(): 
...   print 'start...' 
...   m = yield 5 
...   print m 
...   print 'middle...' 
...   d = yield 12 
...   print d 
...   print 'end...' 
...  
>>> m = fun()       //创建一个对象 
>>> m.next()        //会使函数执行到下一个yield前 
start... 
5 
>>> m.send('message')   //利用send()传递值 
message          //send()传递进来的  
middle... 
12 
>>> m.next() 
None            //可见next()返回值为空 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration
Python 相关文章推荐
一波神奇的Python语句、函数与方法的使用技巧总结
Dec 08 Python
python利用MethodType绑定方法到类示例代码
Aug 27 Python
AI人工智能 Python实现人机对话
Nov 13 Python
Django Web开发中django-debug-toolbar的配置以及使用
May 06 Python
Python实现聊天机器人的示例代码
Jul 09 Python
Python退火算法在高次方程的应用
Jul 26 Python
在双python下设置python3为默认的方法
Oct 31 Python
python数据预处理之数据标准化的几种处理方式
Jul 17 Python
浅谈tensorflow 中的图片读取和裁剪方式
Jun 30 Python
python实现图书馆抢座(自动预约)功能的示例代码
Sep 29 Python
Python操作CSV格式文件的方法大全
Jul 15 Python
Python如何加载模型并查看网络
Jul 15 Python
Python中集合的内建函数和内建方法学习教程
Aug 19 #Python
深入解析Python中的集合类型操作符
Aug 19 #Python
Python中的集合类型知识讲解
Aug 19 #Python
深入理解Python中字典的键的使用
Aug 19 #Python
详解Python中映射类型的内建函数和工厂函数
Aug 19 #Python
详解Python中映射类型(字典)操作符的概念和使用
Aug 19 #Python
Python中字典的基础知识归纳小结
Aug 19 #Python
You might like
用PHP制作静态网站的模板框架
2006/10/09 PHP
php+ajax导入大数据时产生的问题处理
2014/06/11 PHP
Laravel4中的Validator验证扩展用法详解
2016/07/26 PHP
php 变量引用与变量销毁机制详细介绍
2016/12/05 PHP
Yii2设置默认控制器的两种方法
2017/05/19 PHP
php实现的pdo公共类定义与用法示例
2017/07/19 PHP
PHP session垃圾回收机制实例分析
2019/06/28 PHP
Lab.js初次使用笔记
2015/02/28 Javascript
javascript中的Base64、UTF8编码与解码详解
2015/03/18 Javascript
jquery+CSS3模拟Path2.0动画菜单效果代码
2015/08/31 Javascript
JavaScript中this的9种应用场景及三种复合应用场景
2015/09/12 Javascript
JavaScript算法系列之快速排序(Quicksort)算法实例详解
2016/09/04 Javascript
JavaScript中利用for循环遍历数组
2017/01/15 Javascript
Vue2仿淘宝实现省市区三级联动
2020/04/15 Javascript
pace.js和NProgress.js两个加载进度插件的一点小总结
2018/01/31 Javascript
vue实现点击展开点击收起效果
2018/04/27 Javascript
《javascript设计模式》学习笔记四:Javascript面向对象程序设计链式调用实例分析
2020/04/07 Javascript
es6函数中的作用域实例分析
2020/04/18 Javascript
关于JavaScript中异步/等待的用法与理解
2020/11/18 Javascript
介绍Python的@property装饰器的用法
2015/04/28 Python
详解在Python程序中解析并修改XML内容的方法
2015/11/16 Python
总结Python编程中函数的使用要点
2016/03/20 Python
python直接访问私有属性的简单方法
2016/07/25 Python
深入理解Python中的 __new__ 和 __init__及区别介绍
2018/09/17 Python
python mac下安装虚拟环境的图文教程
2019/04/12 Python
使用python3批量下载rbsp数据的示例代码
2019/12/20 Python
浅析Python 责任链设计模式
2020/09/11 Python
canvas绘图按照contain或者cover方式适配并居中显示
2019/02/18 HTML / CSS
Hurley官方网站:扎根于海滩生活方式的全球青年文化品牌
2020/05/18 全球购物
家长写给孩子的评语
2014/04/18 职场文书
一年级学生评语
2014/04/23 职场文书
学雷锋树新风演讲稿
2014/05/10 职场文书
机关保密承诺书
2014/06/03 职场文书
住院医师规范化培训实施方案
2014/06/12 职场文书
2015年党员个人剖析材料
2014/12/18 职场文书
2015年团队工作总结范文
2015/05/04 职场文书