python爬虫快速响应服务器的做法


Posted in Python onNovember 24, 2020

不论是打开网页或者爬取一些资料的时候,我们想要的是计算机能在最短的时间内运行出结果,不然等待的时间过长会影响下一步工作的计划。这时候我们可以给计算机一个指令,限制最久能等待的时间,在我们能接受的时间内运行出结果。那么这个指令方法是什么呢?接下来我们一起看看吧。

requests之所以称为“HTTP for human”,因为其封装层次很高,其中一处体现就在:requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候,搜狗搜索列表页面的公众号文章地址,其实不是微信的地址而需要请求到搜狗到服务器做重定向,而requests的默认处理则是将整个过程全部搞定,对此可以这样:

In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)

allow_redirects参数为False则表示不会主动重定向。

另外,有时候对方网站的响应时间太长了,我们希望在指定时间内完事,或者直接停止这个请求,这时候的做法是:

In [1]: r = requests.get('http://xlzd.me', timeout=3)

timeout表示这次请求最长我最长只等待多少秒

拓展:

为requests套上一层代理的做法也非常简单:

import requests
proxies = {
 "http": "http://192.168.31.1:3128",
 "https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)

到此这篇关于python爬虫快速响应服务器的做法的文章就介绍到这了,更多相关python爬虫中如何快速响应服务器内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python里隐藏的“禅”
Jun 16 Python
分析在Python中何种情况下需要使用断言
Apr 01 Python
Python使用Supervisor来管理进程的方法
May 28 Python
使用rst2pdf实现将sphinx生成PDF
Jun 07 Python
python 转换 Javascript %u 字符串为python unicode的代码
Sep 06 Python
带你了解python装饰器
Jun 15 Python
详解 Python中LEGB和闭包及装饰器
Aug 03 Python
查看django版本的方法分享
May 14 Python
Python3批量生成带logo的二维码方法
Jun 24 Python
Python3.5以上版本lxml导入etree报错的解决方案
Jun 26 Python
详解tensorflow2.x版本无法调用gpu的一种解决方法
May 25 Python
Python文件操作模拟用户登陆代码实例
Jun 09 Python
PyCharm Community安装与配置的详细教程
Nov 24 #Python
python3爬虫GIL修改多线程实例讲解
Nov 24 #Python
Django URL参数Template反向解析
Nov 24 #Python
python3爬虫中引用Queue的实例讲解
Nov 24 #Python
python3爬虫中多线程的优势总结
Nov 24 #Python
利用python+ffmpeg合并B站视频及格式转换的实例代码
Nov 24 #Python
python 如何停止一个死循环的线程
Nov 24 #Python
You might like
谷歌音乐搜索栏的提示功能php修正代码
2011/05/09 PHP
PHPCrawl爬虫库实现抓取酷狗歌单的方法示例
2017/12/21 PHP
使用jquery实现图文切换效果另加特效
2013/01/20 Javascript
jQuery 借助插件Lavalamp实现导航条动态美化效果
2013/09/27 Javascript
如何实现textarea里的不同文本显示不同颜色
2014/01/20 Javascript
jquery 无限级下拉菜单的简单实现代码
2014/02/21 Javascript
node.js 开发指南 ? Node.js 连接 MySQL 并进行数据库操作
2014/07/29 Javascript
JS验证邮件地址格式方法小结
2015/12/01 Javascript
JavaScript模拟数组合并concat
2016/03/06 Javascript
Web前端框架bootstrap实战【第一次接触使用】
2016/12/28 Javascript
详解Angular.js数据绑定时自动转义html标签及内容
2017/03/30 Javascript
bootstrap datetimepicker控件位置异常的解决方法
2017/11/23 Javascript
Vue绑定内联样式问题
2018/10/17 Javascript
Jquery实现获取子元素的方法分析
2019/08/24 jQuery
微信小程序和H5页面间相互跳转代码实例
2019/09/19 Javascript
解决vue-cli@3.xx安装不成功的问题及搭建ts-vue项目
2020/02/09 Javascript
es6中使用map简化复杂条件判断操作实例详解
2020/02/19 Javascript
Python常见异常分类与处理方法
2017/06/04 Python
python自动化脚本安装指定版本python环境详解
2017/09/14 Python
Python和Java进行DES加密和解密的实例
2018/01/09 Python
Flask框架配置与调试操作示例
2018/07/23 Python
python统计指定目录内文件的代码行数
2019/09/19 Python
python文字转语音实现过程解析
2019/11/12 Python
python数据预处理 :数据抽样解析
2020/02/24 Python
python爬虫学习笔记之Beautifulsoup模块用法详解
2020/04/09 Python
python实现ping命令小程序
2020/12/28 Python
HTML5网页音乐播放器的示例代码
2017/11/09 HTML / CSS
火山咖啡:Volcanica Coffee
2019/10/29 全球购物
JBL美国官方商店:扬声器、耳机等
2019/12/01 全球购物
信息管理专业推荐信
2013/10/29 职场文书
厂长助理岗位职责
2013/12/27 职场文书
投资合作协议书
2014/04/17 职场文书
学生顶撞老师的检讨书
2014/09/17 职场文书
师德培训心得体会2016
2016/01/09 职场文书
Python-OpenCV实现图像缺陷检测的实例
2021/06/11 Python
js判断两个数组相等的5种方法
2022/05/06 Javascript