python3爬虫中引用Queue的实例讲解


Posted in Python onNovember 24, 2020

我们去一个受欢迎的地方买东西,难免会需要排队等待。如果有多个窗口的话,就会有不同队列的产生,当然每个队伍的人数也会出现参差不齐的现象。我们今天所要说的Queue就可以理解成生活中的排队现象。那么结合我们所要用的爬虫知识,应该怎么在Queue中应用呢?接下来就开始今天的内容学习:

队列这种东西大家应该都知道,就是一个先进先出的数据结构,而Python的标准库中提供了一个线程安全的队列,也就是说该模块是适用于多线程编程的先进先出(first-in,first-out,FIFO)数据结构,可以用来在生产者消费者线程之间安全地传递消息或其他数据。它会为调用者处理锁定,使用多个线程可以安全地处理同一个 Queue 实例。Queue 的大小(其中包含的元素个数)可能要受限,以限制内存使用或处理。

在Python 3中要引入Queue和Python 2中引入Queue是不同,引入方式如下:

#python 2
import Queue
# python 3
from queue import Queue

因为是线程安全的,很自然就可以利用Queue来实现一个多线程爬虫咯,而Queue的一些常见操作如下:

# 实例化一个队列,可以在指定队列大小
q = Queue.Queue()
q_50 = Queue.Queue(50) # 指定一个长度为50的队列
# 入队一个数据data
q.put(data)
# 出队并赋值给item
item = q.get()
# 判断队列是否为空,是否满
if q.empty():
  print('队列为空')
if q.full():
print('队列满')

另外,除了普通队列,标准库中还有优先队列和后进先出队列这两个队列,分别为LifoQueue和PriorityQueue,其引用方式与Queue类似。

到此这篇关于python3爬虫中引用Queue的实例讲解的文章就介绍到这了,更多相关python3爬虫中如何引用Queue案例内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
在Python中使用next()方法操作文件的教程
May 24 Python
Android 兼容性问题:java.lang.UnsupportedOperationException解决办法
Mar 19 Python
python使用rpc框架gRPC的方法
Aug 24 Python
Python实战之制作天气查询软件
May 14 Python
Python collections模块使用方法详解
Aug 28 Python
Python tkinter实现图片标注功能(完整代码)
Dec 08 Python
python类中super() 的使用解析
Dec 19 Python
Pytorch之parameters的使用
Dec 31 Python
宝塔面板成功部署Django项目流程(图文)
Jun 22 Python
Python3+selenium配置常见报错解决方案
Aug 28 Python
python 自定义异常和主动抛出异常(raise)的操作
Dec 11 Python
jupyter notebook更换皮肤主题的实现
Jan 07 Python
python3爬虫中多线程的优势总结
Nov 24 #Python
利用python+ffmpeg合并B站视频及格式转换的实例代码
Nov 24 #Python
python 如何停止一个死循环的线程
Nov 24 #Python
python将下载到本地m3u8视频合成MP4的代码详解
Nov 24 #Python
Python做图像处理及视频音频文件分离和合成功能
Nov 24 #Python
Python调用Redis的示例代码
Nov 24 #Python
基于django和dropzone.js实现上传文件
Nov 24 #Python
You might like
php设计模式 Observer(观察者模式)
2011/06/26 PHP
ThinkPHP添加更新标签的方法
2014/12/05 PHP
PHP的Laravel框架结合MySQL与Redis数据库的使用部署
2016/03/21 PHP
PHP递归获取目录内所有文件的实现方法
2016/11/01 PHP
php ZipArchive实现多文件打包下载实例
2019/10/31 PHP
关于Javascript模块化和命名空间管理的问题说明
2010/12/06 Javascript
基于jQuery的倒计时插件代码
2011/05/07 Javascript
使图片旋转的3种解决方案
2013/11/21 Javascript
浅谈javascript 函数属性和方法
2015/01/21 Javascript
js实现刷新iframe的方法汇总
2015/04/27 Javascript
javascript转换静态图片,增加粒子动画效果
2015/05/28 Javascript
javascript背景时钟实现方法
2015/06/18 Javascript
Bootstrap中CSS的使用方法
2016/02/17 Javascript
jQuery获取单击节点对象的方法
2016/06/02 Javascript
微信小程序 picker 组件详解及简单实例
2017/01/10 Javascript
JavaScript实现弹出广告功能
2017/03/30 Javascript
微信小程序中显示html格式内容的方法
2017/04/25 Javascript
React.js中常用的ES6写法总结(推荐)
2017/05/09 Javascript
react实现antd线上主题动态切换功能
2019/08/12 Javascript
基于Vue 撸一个指令实现拖拽功能
2019/10/09 Javascript
javascript 数组精简技巧小结
2020/02/26 Javascript
Python中3种内建数据结构:列表、元组和字典
2014/11/30 Python
Python实现捕获异常发生的文件和具体行数
2020/04/25 Python
使用Html5 Stream开发实时监控系统
2020/06/02 HTML / CSS
H&M美国官网:欧洲最大的服饰零售商
2016/09/07 全球购物
亚马逊巴西站:Amazon.com.br
2019/09/22 全球购物
药学专业大学生个人的自我评价
2013/11/04 职场文书
好矿嫂事迹材料
2014/01/21 职场文书
村干部培训方案
2014/05/02 职场文书
品牌转让协议书
2014/08/20 职场文书
乡镇干部个人对照检查材料思想汇报(原创篇)
2014/09/28 职场文书
2014年学校办公室工作总结
2014/12/19 职场文书
小学科学教学计划
2015/01/21 职场文书
常务副总经理岗位职责
2015/02/02 职场文书
Windows11性能真的上涨35%? 桌面酷睿i9实测结果公开
2021/11/21 数码科技
python实现一个简单的贪吃蛇游戏附代码
2022/06/28 Python