详解Python3中yield生成器的用法


Posted in Python onAugust 20, 2015

任何使用yield的函数都称之为生成器,如:

def count(n): 
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

另外一种说法:生成器就是一个返回迭代器的函数,与普通函数的区别是生成器包含yield语句,更简单点理解生成器就是一个迭代器。

使用yield,可以让函数生成一个序列,该函数返回的对象类型是"generator",通过该对象连续调用next()方法返回序列值。

c = count(5) 
c.__next__() #python 3.4.3要使用c.__next__()不能使用c.next()
>>> 5 
c.__next__() 
>>>4

生成器函数只有在调用__next()__方法的时候才开始执行函数里面的语句,比如:

def count(n): 
  print ( "cunting" )
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

在调用count函数时:c=count(5),并不会打印"counting"只有等到调用c.__next__()时才真正执行里面的语句。每次调用__next__()方法时,count函数会运行到语句yield n处为止,__next__()的返回值就是生成值n,再次调用__next__()方法时,函数继续执行yield之后的语句(熟悉Java的朋友肯定知道Thread.yield()方法,作用是暂停当前线程的运行,让其他线程执行),如:

def count(n): 
  print ("cunting" ) 
  while n > 0: 
    print ('before yield') 
    yield n  #生成值:n 
    n -= 1 
    print ('after yield' )

 

上述代码在第一次调用__next__方法时,并不会打印"after yield"。如果一直调用__next__方法,当执行到没有可迭代的值后,程序就会报错:

Traceback (most recent call last): File "", line 1, in StopIteration
所以一般不会手动的调用__next__方法,而使用for循环:

for i in count(5): 
  print (i),

实例: 用yield生成器模拟Linux中命令:tail -f file | grep python 用于查找监控日志文件中出现有python字样的行。

import time  
def tail(f):  
  f.seek(0,2)#移动到文件EOF 
  while True:  
    line = f.readline() #读取文件中新的文本行 
    if not line:  
      time.sleep(0.1)  
      continue  
    yield line  
  
def grep(lines,searchtext):  
  for line in lines:  
    if searchtext in line:  
      yield line 
 
flog = tail(open('warn.log'))  
pylines = grep(flog,'python')  
for line in pylines:  
  print ( line, ) 
#当此程序运行时,若warn.log文件中末尾有新增一行,且该一行包含python,该行就会被打印出来 
#若打开warn.log时,末尾已经有了一行包含python,该行不会被打印,因为上面是f.seek(0,2)移动到了文件EOF处 
#故,上面程序实现了tail -f warn.log | grep 'python'的功能,动态实时检测warn.log中是否新增现了 
#新的行,且该行包含python

用yield实现斐波那契数列:

def fibonacci(): 
  a=b=1 
  yield a 
  yield b 
  while True: 
    a,b = b,a+b 
    yield b

调用:

for num in fibonacci(): 
  if num > 100: 
    break 
  print (num),

yield中return的作用:
作为生成器,因为每次迭代就会返回一个值,所以不能显示的在生成器函数中return 某个值,包括None值也不行,否则会抛出“SyntaxError”的异常,但是在函数中可以出现单独的return,表示结束该语句。
通过固定长度的缓冲区不断读文件,防止一次性读取出现内存溢出的例子:

def read_file(path): 
  size = 1024 
  with open(path,'r') as f: 
    while True: 
      block = f.read(SIZE) 
      if block: 
        yield block 
      else: 
        return

 

如果是在函数中return 具体某个值,就直接抛异常了

>>> def test_return(): 
...   yield 4 
...   return 0 
... 
 File "<stdin>", line 3 
SyntaxError: 'return' with argument inside generator

例子

下面来看几段代码示例:

例1:

>>> def mygenerator(): 
...   print 'start...' 
...   yield 5 
...  
>>> mygenerator()      //在此处调用,并没有打印出start...说明存在yield的函数没有被运行,即暂停 
<generator object mygenerator at 0xb762502c> 
>>> mygenerator().next()   //调用next()即可让函数运行. 
start... 
5 
>>>

如一个函数中出现多个yield则next()会停止在下一个yield前,见例2:

例2:

>>> def fun2(): 
...   print 'first' 
...   yield 5 
...   print 'second' 
...   yield 23 
...   print 'end...' 
...  
>>> g1 = fun2() 
>>> g1.next()       //第一次运行,暂停在yield 5        
first 
5 
>>> g1.next()       //第二次运行,暂停在yield 23 
second 
23 
>>> g1.next()       //第三次运行,由于之后没有yield,再次next()就会抛出错误 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration 
>>>

为什么yield 5会输出5,yield 23会输出23?
我们猜测可能是因为yield是表达式,存在返回值.
那么这是否可以认为yield 5的返回值一定是5吗?实际上并不是这样,这个与send函数存在一定的关系,这个函数实质上与next()是相似的,区别是send是传递yield表达式的值进去,而next不能传递特定的值,只能传递None进去,因此可以认为g.next()和g.send(None)是相同的。见例3:

例3:

>>> def fun(): 
...   print 'start...' 
...   m = yield 5 
...   print m 
...   print 'middle...' 
...   d = yield 12 
...   print d 
...   print 'end...' 
...  
>>> m = fun()       //创建一个对象 
>>> m.next()        //会使函数执行到下一个yield前 
start... 
5 
>>> m.send('message')   //利用send()传递值 
message          //send()传递进来的  
middle... 
12 
>>> m.next() 
None            //可见next()返回值为空 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration
Python 相关文章推荐
在Python的Django框架中用流响应生成CSV文件的教程
May 02 Python
深入学习Python中的上下文管理器与else块
Aug 27 Python
Python中实现最小二乘法思路及实现代码
Jan 04 Python
浅谈pandas中Dataframe的查询方法([], loc, iloc, at, iat, ix)
Apr 10 Python
对Python中plt的画图函数详解
Nov 07 Python
pyqt5 QProgressBar清空进度条的实例
Jun 21 Python
Python高级编程之继承问题详解(super与mro)
Nov 19 Python
Pycharm最新激活码2019(推荐)
Dec 31 Python
手动安装python3.6的操作过程详解
Jan 13 Python
Python3操作MongoDB增册改查等方法详解
Feb 10 Python
python使用pymongo与MongoDB基本交互操作示例
Apr 09 Python
Pytorch中TensorBoard及torchsummary的使用详解
May 12 Python
Python中集合的内建函数和内建方法学习教程
Aug 19 #Python
深入解析Python中的集合类型操作符
Aug 19 #Python
Python中的集合类型知识讲解
Aug 19 #Python
深入理解Python中字典的键的使用
Aug 19 #Python
详解Python中映射类型的内建函数和工厂函数
Aug 19 #Python
详解Python中映射类型(字典)操作符的概念和使用
Aug 19 #Python
Python中字典的基础知识归纳小结
Aug 19 #Python
You might like
《星际争霸II》全新指挥官斯台特曼现已上线
2020/03/08 星际争霸
PHP循环函数使用介绍之PHP基础入门教程
2013/09/21 PHP
PHP中file_exists()判断中文文件名无效的解决方法
2014/11/12 PHP
php+mysqli使用面向对象方式更新数据库实例
2015/01/29 PHP
php获取英文姓名首字母的方法
2015/07/13 PHP
PHP递归统计系统中代码行数
2019/09/19 PHP
浅谈PHP之ThinkPHP框架使用详解
2020/07/21 PHP
IE/FireFox具备兼容性的拖动代码
2007/08/13 Javascript
最佳JS代码编写的14条技巧
2011/01/09 Javascript
jQuery 下拉列表 二级联动插件分享
2012/03/29 Javascript
js(JavaScript)实现TAB标签切换效果的简单实例
2014/02/26 Javascript
jquery下div 的resize事件示例代码
2014/03/09 Javascript
js构造函数、索引数组和属性的实现方式和使用
2014/11/16 Javascript
javascript实现点击按钮弹出一个可关闭层窗口同时网页背景变灰的方法
2015/05/13 Javascript
JS锚点的设置与使用方法
2016/09/05 Javascript
NodeJS实现客户端js加密
2017/01/09 NodeJs
详解vue.js移动端配置flexible.js及注意事项
2019/04/10 Javascript
关于微信小程序map组件z-index的层级问题分析
2019/07/09 Javascript
解决vue项目中出现Invalid Host header的问题
2020/11/17 Javascript
JavaScript实现前端倒计时效果
2021/02/09 Javascript
python变量不能以数字打头详解
2016/07/06 Python
python学习笔记之列表(list)与元组(tuple)详解
2017/11/23 Python
基于Django与ajax之间的json传输方法
2018/05/29 Python
Python+OpenCV采集本地摄像头的视频
2019/04/25 Python
python定义具名元组实例操作
2021/02/28 Python
Linux机考试题
2015/07/17 面试题
Java语言的优势
2015/01/10 面试题
Java中的异常处理机制的简单原理和应用
2013/04/27 面试题
《蚂蚁和蝈蝈》教学反思
2014/02/24 职场文书
老人节标语大全
2014/10/08 职场文书
高考学习决心书
2015/02/04 职场文书
工作犯错保证书
2015/05/11 职场文书
四年级作文之植物
2019/09/20 职场文书
golang http使用踩过的坑与填坑指南
2021/04/27 Golang
使用pipenv管理python虚拟环境的全过程
2021/09/25 Python
Appium中scroll和drag_and_drop根据元素位置滑动
2022/02/15 Python