详解Python3中yield生成器的用法


Posted in Python onAugust 20, 2015

任何使用yield的函数都称之为生成器,如:

def count(n): 
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

另外一种说法:生成器就是一个返回迭代器的函数,与普通函数的区别是生成器包含yield语句,更简单点理解生成器就是一个迭代器。

使用yield,可以让函数生成一个序列,该函数返回的对象类型是"generator",通过该对象连续调用next()方法返回序列值。

c = count(5) 
c.__next__() #python 3.4.3要使用c.__next__()不能使用c.next()
>>> 5 
c.__next__() 
>>>4

生成器函数只有在调用__next()__方法的时候才开始执行函数里面的语句,比如:

def count(n): 
  print ( "cunting" )
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

在调用count函数时:c=count(5),并不会打印"counting"只有等到调用c.__next__()时才真正执行里面的语句。每次调用__next__()方法时,count函数会运行到语句yield n处为止,__next__()的返回值就是生成值n,再次调用__next__()方法时,函数继续执行yield之后的语句(熟悉Java的朋友肯定知道Thread.yield()方法,作用是暂停当前线程的运行,让其他线程执行),如:

def count(n): 
  print ("cunting" ) 
  while n > 0: 
    print ('before yield') 
    yield n  #生成值:n 
    n -= 1 
    print ('after yield' )

 

上述代码在第一次调用__next__方法时,并不会打印"after yield"。如果一直调用__next__方法,当执行到没有可迭代的值后,程序就会报错:

Traceback (most recent call last): File "", line 1, in StopIteration
所以一般不会手动的调用__next__方法,而使用for循环:

for i in count(5): 
  print (i),

实例: 用yield生成器模拟Linux中命令:tail -f file | grep python 用于查找监控日志文件中出现有python字样的行。

import time  
def tail(f):  
  f.seek(0,2)#移动到文件EOF 
  while True:  
    line = f.readline() #读取文件中新的文本行 
    if not line:  
      time.sleep(0.1)  
      continue  
    yield line  
  
def grep(lines,searchtext):  
  for line in lines:  
    if searchtext in line:  
      yield line 
 
flog = tail(open('warn.log'))  
pylines = grep(flog,'python')  
for line in pylines:  
  print ( line, ) 
#当此程序运行时,若warn.log文件中末尾有新增一行,且该一行包含python,该行就会被打印出来 
#若打开warn.log时,末尾已经有了一行包含python,该行不会被打印,因为上面是f.seek(0,2)移动到了文件EOF处 
#故,上面程序实现了tail -f warn.log | grep 'python'的功能,动态实时检测warn.log中是否新增现了 
#新的行,且该行包含python

用yield实现斐波那契数列:

def fibonacci(): 
  a=b=1 
  yield a 
  yield b 
  while True: 
    a,b = b,a+b 
    yield b

调用:

for num in fibonacci(): 
  if num > 100: 
    break 
  print (num),

yield中return的作用:
作为生成器,因为每次迭代就会返回一个值,所以不能显示的在生成器函数中return 某个值,包括None值也不行,否则会抛出“SyntaxError”的异常,但是在函数中可以出现单独的return,表示结束该语句。
通过固定长度的缓冲区不断读文件,防止一次性读取出现内存溢出的例子:

def read_file(path): 
  size = 1024 
  with open(path,'r') as f: 
    while True: 
      block = f.read(SIZE) 
      if block: 
        yield block 
      else: 
        return

 

如果是在函数中return 具体某个值,就直接抛异常了

>>> def test_return(): 
...   yield 4 
...   return 0 
... 
 File "<stdin>", line 3 
SyntaxError: 'return' with argument inside generator

例子

下面来看几段代码示例:

例1:

>>> def mygenerator(): 
...   print 'start...' 
...   yield 5 
...  
>>> mygenerator()      //在此处调用,并没有打印出start...说明存在yield的函数没有被运行,即暂停 
<generator object mygenerator at 0xb762502c> 
>>> mygenerator().next()   //调用next()即可让函数运行. 
start... 
5 
>>>

如一个函数中出现多个yield则next()会停止在下一个yield前,见例2:

例2:

>>> def fun2(): 
...   print 'first' 
...   yield 5 
...   print 'second' 
...   yield 23 
...   print 'end...' 
...  
>>> g1 = fun2() 
>>> g1.next()       //第一次运行,暂停在yield 5        
first 
5 
>>> g1.next()       //第二次运行,暂停在yield 23 
second 
23 
>>> g1.next()       //第三次运行,由于之后没有yield,再次next()就会抛出错误 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration 
>>>

为什么yield 5会输出5,yield 23会输出23?
我们猜测可能是因为yield是表达式,存在返回值.
那么这是否可以认为yield 5的返回值一定是5吗?实际上并不是这样,这个与send函数存在一定的关系,这个函数实质上与next()是相似的,区别是send是传递yield表达式的值进去,而next不能传递特定的值,只能传递None进去,因此可以认为g.next()和g.send(None)是相同的。见例3:

例3:

>>> def fun(): 
...   print 'start...' 
...   m = yield 5 
...   print m 
...   print 'middle...' 
...   d = yield 12 
...   print d 
...   print 'end...' 
...  
>>> m = fun()       //创建一个对象 
>>> m.next()        //会使函数执行到下一个yield前 
start... 
5 
>>> m.send('message')   //利用send()传递值 
message          //send()传递进来的  
middle... 
12 
>>> m.next() 
None            //可见next()返回值为空 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration
Python 相关文章推荐
Python牛刀小试密码爆破
Feb 03 Python
给Python的Django框架下搭建的BLOG添加RSS功能的教程
Apr 08 Python
python转换字符串为摩尔斯电码的方法
Jul 06 Python
python3+PyQt5实现支持多线程的页面索引器应用程序
Apr 20 Python
Django中URL的参数传递的实现
Aug 04 Python
pandas将多个dataframe以多个sheet的形式保存到一个excel文件中
Oct 10 Python
python实现对列表中的元素进行倒序打印
Nov 23 Python
Python pandas 列转行操作详解(类似hive中explode方法)
May 18 Python
如何将anaconda安装配置的mmdetection环境离线拷贝到另一台电脑
Oct 15 Python
python使用scapy模块实现ping扫描的过程详解
Jan 21 Python
解决python的空格和tab混淆而报错的问题
Feb 26 Python
Python实现双向链表
May 25 Python
Python中集合的内建函数和内建方法学习教程
Aug 19 #Python
深入解析Python中的集合类型操作符
Aug 19 #Python
Python中的集合类型知识讲解
Aug 19 #Python
深入理解Python中字典的键的使用
Aug 19 #Python
详解Python中映射类型的内建函数和工厂函数
Aug 19 #Python
详解Python中映射类型(字典)操作符的概念和使用
Aug 19 #Python
Python中字典的基础知识归纳小结
Aug 19 #Python
You might like
apache中为php 设置虚拟目录
2014/12/17 PHP
PHP统计数值数组中出现频率最多的10个数字的方法
2015/04/20 PHP
浅谈PHP的反射机制
2016/12/15 PHP
PDO::errorInfo讲解
2019/01/28 PHP
超级酷和最实用的jQuery实例收集(20个)
2010/04/21 Javascript
三种检测iPhone/iPad设备方向的方法
2014/04/23 Javascript
JSP中使用JavaScript动态插入删除输入框实现代码
2014/06/13 Javascript
使用jquery解析XML的方法
2014/09/05 Javascript
mvc中form表单提交的三种方式(推荐)
2016/08/10 Javascript
浅谈JavaScript 函数参数传递到底是值传递还是引用传递
2016/08/23 Javascript
详解nodeJS中读写文件方法的区别
2017/03/06 NodeJs
angular+webpack2实战例子
2017/05/23 Javascript
深入理解Angular4订阅(Subscribe)与取消
2017/11/22 Javascript
原生js实现trigger方法示例代码
2019/05/22 Javascript
DatePickerDialog 自定义样式及使用全解
2019/07/09 Javascript
javascript中this的用法实践分析
2019/07/29 Javascript
微信小程序实现上传图片裁剪图片过程解析
2019/08/22 Javascript
简单谈谈offsetleft、offsetTop和offsetParent
2020/12/04 Javascript
python迭代器的使用方法实例
2013/11/21 Python
Python专用方法与迭代机制实例分析
2014/09/15 Python
简单总结Python中序列与字典的相同和不同之处
2016/01/19 Python
使用Python判断质数(素数)的简单方法讲解
2016/05/05 Python
python dict.get()和dict['key']的区别详解
2016/06/30 Python
深度定制Python的Flask框架开发环境的一些技巧总结
2016/07/12 Python
Python 操作文件的基本方法总结
2017/08/10 Python
在PyCharm中实现关闭一个死循环程序的方法
2018/11/29 Python
在Python中字典根据多项规则排序的方法
2019/01/21 Python
利用python计算时间差(返回天数)
2019/09/07 Python
python是否适合网页编程详解
2019/10/04 Python
Python测试Kafka集群(pykafka)实例
2019/12/23 Python
香港化妆品经销商:我的公主
2016/08/05 全球购物
HomeAway的巴西品牌:Alugue Temporada
2018/04/10 全球购物
golang 实现并发求和
2021/05/08 Golang
用python修改excel表某一列内容的操作方法
2021/06/11 Python
Python django中如何使用restful框架
2021/06/23 Python
浅谈Python中的正则表达式
2021/06/28 Python