python爬虫快速响应服务器的做法


Posted in Python onNovember 24, 2020

不论是打开网页或者爬取一些资料的时候,我们想要的是计算机能在最短的时间内运行出结果,不然等待的时间过长会影响下一步工作的计划。这时候我们可以给计算机一个指令,限制最久能等待的时间,在我们能接受的时间内运行出结果。那么这个指令方法是什么呢?接下来我们一起看看吧。

requests之所以称为“HTTP for human”,因为其封装层次很高,其中一处体现就在:requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候,搜狗搜索列表页面的公众号文章地址,其实不是微信的地址而需要请求到搜狗到服务器做重定向,而requests的默认处理则是将整个过程全部搞定,对此可以这样:

In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)

allow_redirects参数为False则表示不会主动重定向。

另外,有时候对方网站的响应时间太长了,我们希望在指定时间内完事,或者直接停止这个请求,这时候的做法是:

In [1]: r = requests.get('http://xlzd.me', timeout=3)

timeout表示这次请求最长我最长只等待多少秒

拓展:

为requests套上一层代理的做法也非常简单:

import requests
proxies = {
 "http": "http://192.168.31.1:3128",
 "https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)

到此这篇关于python爬虫快速响应服务器的做法的文章就介绍到这了,更多相关python爬虫中如何快速响应服务器内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
简洁的十分钟Python入门教程
Apr 03 Python
Python单例模式的两种实现方法
Aug 14 Python
5个很好的Python面试题问题答案及分析
Jan 19 Python
Django unittest 设置跳过某些case的方法
Dec 26 Python
Python实现截取PDF文件中的几页代码实例
Mar 11 Python
pytorch 实现删除tensor中的指定行列
Jan 13 Python
Python字符串中删除特定字符的方法
Jan 15 Python
Django ValuesQuerySet转json方式
Mar 16 Python
Python爬虫headers处理及网络超时问题解决方案
Jun 19 Python
python对批量WAV音频进行等长分割的方法实现
Sep 25 Python
python3 os进行嵌套操作的实例讲解
Nov 19 Python
python os.listdir()乱码解决方案
Jan 31 Python
PyCharm Community安装与配置的详细教程
Nov 24 #Python
python3爬虫GIL修改多线程实例讲解
Nov 24 #Python
Django URL参数Template反向解析
Nov 24 #Python
python3爬虫中引用Queue的实例讲解
Nov 24 #Python
python3爬虫中多线程的优势总结
Nov 24 #Python
利用python+ffmpeg合并B站视频及格式转换的实例代码
Nov 24 #Python
python 如何停止一个死循环的线程
Nov 24 #Python
You might like
PHP安全配置
2006/10/09 PHP
截获网站title标签之家内容的例子
2006/10/09 PHP
编写PHP程序检查字符串中的中文字符个数的实例分享
2016/03/17 PHP
PHP获取网页所有连接的方法(附demo源码下载)
2016/03/30 PHP
JavaScript网页制作特殊效果用随机数
2007/05/22 Javascript
原生javascript实现隔行换色
2015/01/04 Javascript
js计算任意值之间随机数的方法
2015/01/16 Javascript
简述jQuery ajax的执行顺序
2016/01/05 Javascript
JS实现随页面滚动显示/隐藏窗口固定位置元素
2016/02/26 Javascript
js鼠标单击和双击事件冲突问题的快速解决方法
2016/07/11 Javascript
jQuery设置聚焦并使光标位置在文字最后的实现方法
2016/08/02 Javascript
jQuery EasyUI tree 使用拖拽时遇到的错误小结
2016/10/10 Javascript
jQuery中map函数的两种方式
2017/04/07 jQuery
axios post提交formdata的实例
2018/03/16 Javascript
React中的render何时执行过程
2018/04/13 Javascript
使用jquery模拟a标签的click事件无法实现跳转的解决
2018/12/04 jQuery
Vue2.0使用嵌套路由实现页面内容切换/公用一级菜单控制页面内容切换(推荐)
2019/05/08 Javascript
微信小程序引入Vant组件库过程解析
2019/08/06 Javascript
微信小程序tab切换可滑动切换导航栏跟随滚动实现代码
2019/09/04 Javascript
解决layui弹出层layer的area过大被遮挡的问题
2019/09/21 Javascript
JS中循环遍历数组的四种方式总结
2021/01/23 Javascript
[20:46]Ti4循环赛第三日VG vs DK
2014/07/12 DOTA
[55:48]VGJ.S vs TNC Supermajor 败者组 BO3 第二场 6.6
2018/06/07 DOTA
Python的Flask框架中使用Flask-SQLAlchemy管理数据库的教程
2016/06/14 Python
Python中Iterator迭代器的使用杂谈
2016/06/20 Python
Python设计模式之观察者模式简单示例
2018/01/10 Python
解决django前后端分离csrf验证的问题
2019/02/03 Python
Django框架视图介绍与使用详解
2019/07/18 Python
docker-py 用Python调用Docker接口的方法
2019/08/30 Python
django创建css文件夹的具体方法
2020/07/31 Python
python爬虫调度器用法及实例代码
2020/11/30 Python
惠普加拿大在线商店:HP加拿大
2017/09/15 全球购物
巴西体育用品商店:Lojão dos Esportes
2018/07/21 全球购物
2014年财务人员工作总结
2014/11/11 职场文书
初中中等生评语
2014/12/29 职场文书
redis数据结构之压缩列表
2022/03/21 Redis