python3爬虫中引用Queue的实例讲解


Posted in Python onNovember 24, 2020

我们去一个受欢迎的地方买东西,难免会需要排队等待。如果有多个窗口的话,就会有不同队列的产生,当然每个队伍的人数也会出现参差不齐的现象。我们今天所要说的Queue就可以理解成生活中的排队现象。那么结合我们所要用的爬虫知识,应该怎么在Queue中应用呢?接下来就开始今天的内容学习:

队列这种东西大家应该都知道,就是一个先进先出的数据结构,而Python的标准库中提供了一个线程安全的队列,也就是说该模块是适用于多线程编程的先进先出(first-in,first-out,FIFO)数据结构,可以用来在生产者消费者线程之间安全地传递消息或其他数据。它会为调用者处理锁定,使用多个线程可以安全地处理同一个 Queue 实例。Queue 的大小(其中包含的元素个数)可能要受限,以限制内存使用或处理。

在Python 3中要引入Queue和Python 2中引入Queue是不同,引入方式如下:

#python 2
import Queue
# python 3
from queue import Queue

因为是线程安全的,很自然就可以利用Queue来实现一个多线程爬虫咯,而Queue的一些常见操作如下:

# 实例化一个队列,可以在指定队列大小
q = Queue.Queue()
q_50 = Queue.Queue(50) # 指定一个长度为50的队列
# 入队一个数据data
q.put(data)
# 出队并赋值给item
item = q.get()
# 判断队列是否为空,是否满
if q.empty():
  print('队列为空')
if q.full():
print('队列满')

另外,除了普通队列,标准库中还有优先队列和后进先出队列这两个队列,分别为LifoQueue和PriorityQueue,其引用方式与Queue类似。

到此这篇关于python3爬虫中引用Queue的实例讲解的文章就介绍到这了,更多相关python3爬虫中如何引用Queue案例内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
寻找网站后台地址的python脚本
Sep 01 Python
简单解决Python文件中文编码问题
Nov 22 Python
用PyInstaller把Python代码打包成单个独立的exe可执行文件
May 26 Python
Python使用crontab模块设置和清除定时任务操作详解
Apr 09 Python
python的等深分箱实例
Nov 22 Python
Python Lambda函数使用总结详解
Dec 11 Python
python实现tail实时查看服务器日志示例
Dec 24 Python
Django框架之中间件MiddleWare的实现
Dec 30 Python
解决Pycharm 导入其他文件夹源码的2种方法
Feb 12 Python
使用Pycharm分段执行代码
Apr 15 Python
Python数据可视化图实现过程详解
Jun 12 Python
如何使用python写截屏小工具
Sep 29 Python
python3爬虫中多线程的优势总结
Nov 24 #Python
利用python+ffmpeg合并B站视频及格式转换的实例代码
Nov 24 #Python
python 如何停止一个死循环的线程
Nov 24 #Python
python将下载到本地m3u8视频合成MP4的代码详解
Nov 24 #Python
Python做图像处理及视频音频文件分离和合成功能
Nov 24 #Python
Python调用Redis的示例代码
Nov 24 #Python
基于django和dropzone.js实现上传文件
Nov 24 #Python
You might like
使用Curl进行抓取远程内容时url中文编码问题示例探讨
2013/10/29 PHP
PHP判断远程图片或文件是否存在的实现代码
2014/02/20 PHP
PHP获取浏览器信息类和客户端地理位置的2个方法
2014/04/24 PHP
php中使用key,value,current,next和prev函数遍历数组的方法
2015/03/17 PHP
php $_SESSION会员登录实例分享
2021/01/19 PHP
PHP中仿制 ecshop验证码实例
2017/01/06 PHP
phpStorm+XDebug+chrome 配置详解
2019/04/01 PHP
jquery 简单的进度条实现代码
2010/03/11 Javascript
基于Jquery 解决Ajax请求的页面 浏览器后退前进功能,页面刷新功能实效问题
2010/12/11 Javascript
HTML5实现留言和回复页面样式
2015/07/22 Javascript
JS实现选项卡实例详解
2015/11/17 Javascript
基于jQuery实现响应式圆形图片轮播特效
2015/11/25 Javascript
js实现prototype扩展的方法(字符串,日期,数组扩展)
2016/01/14 Javascript
关于webuploader插件使用过程遇到的小问题
2016/11/07 Javascript
详解vee-validate的使用个人小结
2017/06/07 Javascript
JS实现新建文件夹功能
2017/06/17 Javascript
微信小程序 Buffer缓冲区的详解
2017/07/06 Javascript
Bootstrap实现的表格合并单元格示例
2018/02/06 Javascript
修改npm全局安装模式的路径方法
2018/05/15 Javascript
[03:17]2014DOTA2 国际邀请赛中国区预选赛 四强专访
2014/05/23 DOTA
Python单例模式的两种实现方法
2017/08/14 Python
python logging模块的使用总结
2019/07/09 Python
Python处理mysql特殊字符的问题
2020/03/02 Python
python numpy库np.percentile用法说明
2020/06/08 Python
CSS3 优势以及网页设计师如何使用CSS3技术
2009/07/29 HTML / CSS
佳能英国官方网站:Canon UK
2017/08/08 全球购物
玩具反斗城天猫官方旗舰店:享誉全球的玩具店
2017/10/10 全球购物
意大利奢侈品综合电商网站:MODES
2019/12/14 全球购物
追悼会子女答谢词
2014/01/28 职场文书
数控技术专业毕业自荐书范文
2014/02/05 职场文书
培训协议书范本
2014/04/22 职场文书
安全生产月活动总结
2014/05/04 职场文书
医学生求职信
2014/07/01 职场文书
医院我们的节日活动实施方案
2014/08/22 职场文书
求职简历自我评价怎么写
2015/03/10 职场文书
《少年闰土》教学反思
2016/02/18 职场文书