对python中的高效迭代器函数详解


Posted in Python onOctober 18, 2018

python中内置的库中有个itertools,可以满足我们在编程中绝大多数需要迭代的场合,当然也可以自己造轮子,但是有现成的好用的轮子不妨也学习一下,看哪个用的顺手~

首先还是要先import一下:

#import itertools
from itertools import * #最好使用时用上面那个,不过下面的是为了演示比较
  常用的,所以就直接全部导入了

一.无限迭代器:

对python中的高效迭代器函数详解

由于这些都是无限迭代器,因此使用的时候都要设置终止条件,不然会一直运行下去,也就不是我们想要的结果了。

1、count()

可以设置两个参数,第一个参数为起始点,且包含在内,第二个参数为步长,如果不设置第二个参数则默认步长为1

for x in count(10,20):
 if x < 200:
 print x
def count(start=0, step=1):
 # count(10) --> 10 11 12 13 14 ...
 # count(2.5, 0.5) -> 2.5 3.0 3.5 ...
 n = start
 while True:
 yield n
 n += step

2、cycle()

可以设置一个参数,且只接受可以迭代的参数,如列表,元组,字符串。。。,该函数会对可迭代的所有元素进行循环:

for i,x in enumerate(cycle('abcd')):
 if i < 5:
 print x
def cycle(iterable):
 # cycle('ABCD') --> A B C D A B C D A B C D ...
 saved = []
 for element in iterable:
 yield element
 saved.append(element)
 while saved:
 for element in saved:
  yield element

3、repeat()

可以设置两个参数,其中第一个参数要求可迭代,第二个参数为重复次数,第二个参数如不设置则无限循环,一般来说使用时都会设置第二个参数,用来满足预期重复次数后终止:

#注意如果不设置第二个参数notebook运行可能会宕机
for x in repeat(['a','b','c'],10):
 print x

二.有限迭代器

对python中的高效迭代器函数详解

1、chain()

可以接受不定个数个可迭代参数,不要求可迭代参数类型相同,会返回一个列表,这个类似于list的extend,不过不同点是list的extend是对原变量进行改变不返回,而chain则是就地改变并返回:

list(chain(range(4),range(5)))

list(chain(range(4),'abc'))

list(chain(('a','b','c'),'nihao',['shijie','zhongguo']))
def chain(*iterables):
 # chain('ABC', 'DEF') --> A B C D E F
 for it in iterables:
 for element in it:
  yield element

2.compress()

第一个参数为可迭代类型,第二个参数为0和1的集合,两者长度可以不等,

这个暂时不知道可以用在哪里、

list(compress(['a','b','c','d','e'],[0,1,1,1,0,1]))
def compress(data, selectors):
 # compress('ABCDEF', [1,0,1,0,1,1]) --> A C E F
 return (d for d, s in izip(data, selectors) if s)

3.dropwhile()

接受两个参数,第一个参数为一个判断类似于if语句的函数,丢弃满足的项,直到第一个不满足的项出现时停止丢弃,就是

#伪代码大概是这个样子的
if condition:
 drop element
 while not condition:
 stop drop
list(dropwhile(lambda x:x>5,range(10,0,-1)))
def dropwhile(predicate, iterable):
 # dropwhile(lambda x: x<5, [1,4,6,4,1]) --> 6 4 1
 iterable = iter(iterable)
 for x in iterable:
 if not predicate(x):
  yield x
  break
 for x in iterable:
 yield x

4.groupby

对给定可迭代集合(有重复元素)进行分组,返回的是一个元组,元组的第一个为分组的元素,第二个为分组的元素集合,还是看代码吧:

for x,y in groupby(['a','a','b','b','b','b','c','d','e','e']):
 print x
 print list(y)
 print ''

out:
 a
 ['a', 'a']

 b
 ['b', 'b', 'b', 'b']

 c
 ['c']

 d
 ['d']

 e
 ['e', 'e']
class groupby(object):
 # [k for k, g in groupby('AAAABBBCCDAABBB')] --> A B C D A B
 # [list(g) for k, g in groupby('AAAABBBCCD')] --> AAAA BBB CC D
 def __init__(self, iterable, key=None):
 if key is None:
  key = lambda x: x
 self.keyfunc = key
 self.it = iter(iterable)
 self.tgtkey = self.currkey = self.currvalue = object()
 def __iter__(self):
 return self
 def next(self):
 while self.currkey == self.tgtkey:
  self.currvalue = next(self.it) # Exit on StopIteration
  self.currkey = self.keyfunc(self.currvalue)
 self.tgtkey = self.currkey
 return (self.currkey, self._grouper(self.tgtkey))
 def _grouper(self, tgtkey):
 while self.currkey == tgtkey:
  yield self.currvalue
  self.currvalue = next(self.it) # Exit on StopIteration
  self.currkey = self.keyfunc(self.currvalue)

5.ifilter()

这个有点像是filter函数了,不过有点不同,filter返回的是一个完成后的列表,而ifilter则是一个生成器,使用的yield

#这样写只是为了更清楚看到输出,其实这么写就跟filter用法一样了,体现不到ifilter的优越之处了
list(ifilter(lambda x:x%2,range(10)))

6.ifilterfalse()

这个跟ifilter用法很像,只是两个是相反数的关系。

list(ifilterfalse(lambda x:x%2,range(10)))

7.islice()

接受三个参数,可迭代参数,起始切片点,结束切片点,最少给定两个参数,当只有两个参数为默认第二个参数为结束切片点:

In: list(islice(range(10),2,None))
Out: [2, 3, 4, 5, 6, 7, 8, 9]

In: list(islice(range(10),2))
Out: [0, 1]

8.imap()

接受参数个数跟目标函数有关:

#接受两个参数时
list(imap(abs,range(-5,5)))

#接受三个参数时
list(imap(pow,range(-5,5),range(10)))

#接受四个参数时
list(imap(lambda x,y,z:x+y+z,range(10),range(10),range(10)))

9.starmap()

这个是imap的变异,即只接受两个参数,目标函数会作用在第二个参数集合中、

in: list(starmap(pow,[(1,2),(2,3)]))
out: [1, 8]

10.tee()

接受两个参数,第一个参数为可迭代类型,第二个为int,如果第二个不指定则默认为2,即重复两次,有点像是生成器repeat的生成器类型,

这个就有意思了,是双重生成器输出:

for x in list(tee('abcde',3)):
 print list(x)

11.takewhile()

这个有点跟dropwhile()很是想象,一个是丢弃,一个是拿取:

伪代码为:

if condition:
 take this element
 while not condition:
 stop take

eg:

in: list(takewhile(lambda x:x<10,(1,9,10,11,8)))
out: [1, 9]

12.izip()

这个跟imap一样,只不过imap是针对map的生成器类型,而izip是针对zip的:

list(izip('ab','cd'))

13.izip_longest

针对izip只截取最短的,这个是截取最长的,以None来填充空位:

list(izip_longest('a','abcd'))

三、组合迭代器

对python中的高效迭代器函数详解

1.product()

这个有点像是多次使用for循环,两者可以替代。

list(product(range(10),range(10)))

#本质上是这种的生成器模式
L = []
for x in range(10):
 for y in range(10):
 L.append((x,y))

2.permutations()

接受两个参数,第二个参数不设置时输出的没看出来是什么鬼,

第二个参数用来控制生成的元组的元素个数,而输出的元组中最后一个元素是打乱次序的,暂时也不知道可以用在哪

list(permutations(range(10),2))

3.combinations()

用来排列组合,抽样不放回,第二个参数为参与排列组合的个数

list(combinations('abc',2))
def combinations(iterable, r):
 # combinations('ABCD', 2) --> AB AC AD BC BD CD
 # combinations(range(4), 3) --> 012 013 023 123
 pool = tuple(iterable)
 n = len(pool)
 if r > n:
 return
 indices = range(r)
 yield tuple(pool[i] for i in indices)
 while True:
 for i in reversed(range(r)):
  if indices[i] != i + n - r:
  break
 else:
  return
 indices[i] += 1
 for j in range(i+1, r):
  indices[j] = indices[j-1] + 1
 yield tuple(pool[i] for i in indices)
def combinations(iterable, r):
 pool = tuple(iterable)
 n = len(pool)
 for indices in permutations(range(n), r):
 if sorted(indices) == list(indices):
  yield tuple(pool[i] for i in indices)

4.combinations_with_replacement()

与上一个的用法不同的是抽样是放回的

def combinations_with_replacement(iterable, r):
 # combinations_with_replacement('ABC', 2) --> AA AB AC BB BC CC
 pool = tuple(iterable)
 n = len(pool)
 if not n and r:
 return
 indices = [0] * r
 yield tuple(pool[i] for i in indices)
 while True:
 for i in reversed(range(r)):
  if indices[i] != n - 1:
  break
 else:
  return
 indices[i:] = [indices[i] + 1] * (r - i)
 yield tuple(pool[i] for i in indices)
def combinations_with_replacement(iterable, r):
 pool = tuple(iterable)
 n = len(pool)
 for indices in product(range(n), repeat=r):
 if sorted(indices) == list(indices):
  yield tuple(pool[i] for i in indices)

以上这篇对python中的高效迭代器函数详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python聚类算法之基本K均值实例详解
Nov 20 Python
Python 类与元类的深度挖掘 I【经验】
May 06 Python
Python读取Json字典写入Excel表格的方法
Jan 03 Python
python学习笔记--将python源文件打包成exe文件(pyinstaller)
May 26 Python
浅谈DataFrame和SparkSql取值误区
Jun 09 Python
使用Python横向合并excel文件的实例
Dec 11 Python
python实现转圈打印矩阵
Mar 02 Python
TensorBoard 计算图的查看方式
Feb 15 Python
python pyecharts 实现一个文件绘制多张图
May 13 Python
使用openCV去除文字中乱入的线条实例
Jun 02 Python
Django和Ueditor自定义存储上传文件的文件名
Feb 25 Python
利用Selenium添加cookie实现自动登录的示例代码(fofa)
May 08 Python
对Python中内置异常层次结构详解
Oct 18 #Python
Python运维开发之psutil库的使用详解
Oct 18 #Python
python实现自动登录后台管理系统
Oct 18 #Python
python 对给定可迭代集合统计出现频率,并排序的方法
Oct 18 #Python
python实现简单登陆系统
Oct 18 #Python
Python字典中的键映射多个值的方法(列表或者集合)
Oct 17 #Python
python字典值排序并取出前n个key值的方法
Oct 17 #Python
You might like
yii2.0数据库迁移教程【多个数据库同时同步数据】
2016/10/08 PHP
js实现的日期操作类DateTime函数代码
2010/03/16 Javascript
jQuery获取(选中)单选,复选框,下拉框中的值
2014/02/21 Javascript
jquery的父子兄弟节点查找示例代码
2014/03/03 Javascript
js带点自动图片轮播幻灯片特效代码分享
2015/09/07 Javascript
Nodejs初级阶段之express
2015/11/23 NodeJs
JavaScript中Textarea滚动条不能拖动的解决方法
2015/12/15 Javascript
基于jQuery实现动态搜索显示功能
2016/05/05 Javascript
JavaScript实现图像模糊化的方法实例
2017/01/15 Javascript
js实现数组去重方法及效率?Ρ? target=
2017/02/14 Javascript
AngularJS Toaster使用详解
2017/02/24 Javascript
原生js实现简单的模态框示例
2017/09/08 Javascript
默认浏览器设置及vue自动打开页面的方法
2018/09/21 Javascript
小程序登录态管理的方法示例
2018/11/13 Javascript
Vue+Element实现动态生成新表单并添加验证功能
2019/05/23 Javascript
JavaScript生成随机验证码代码实例
2019/09/28 Javascript
Vue中axios拦截器如何单独配置token
2019/12/27 Javascript
python中文编码问题小结
2014/09/28 Python
分享python数据统计的一些小技巧
2016/07/21 Python
利用python实现简单的邮件发送客户端示例
2017/12/23 Python
Python redis操作实例分析【连接、管道、发布和订阅等】
2019/05/16 Python
Python使用ElementTree美化XML格式的操作
2020/03/06 Python
一款纯css3实现的鼠标悬停动画按钮
2014/12/29 HTML / CSS
一款基于css3麻将筛子3D翻转特效的实例教程
2014/12/31 HTML / CSS
HTML5 Canvas实现玫瑰曲线和心形图案的代码实例
2014/04/10 HTML / CSS
Ruby中的保护方法和私有方法与一般面向对象程序设计语言的一样吗
2013/05/01 面试题
通信工程专业女生个人求职信
2013/09/21 职场文书
手机业务员岗位职责
2013/12/13 职场文书
大学生村官典型材料
2014/01/12 职场文书
公司端午节活动方案
2014/02/04 职场文书
课程改革实施方案
2014/03/16 职场文书
资料员岗位职责
2015/02/10 职场文书
承诺书模板大全
2015/05/04 职场文书
中学教师读书笔记
2015/07/01 职场文书
酒店员工管理制度
2015/08/05 职场文书
Java 超详细讲解数据结构中的堆的应用
2022/04/02 Java/Android