编程 Python

Python爬虫动态ip代理防止被封的方法

Posted in Python onJuly 07, 2019

在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封

首先，设置等待时间：

常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性

第二步，修改请求头：

识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'

Python爬虫动态ip代理防止被封的方法

第三步，采用代理ip/建代理ip池

直接看代码。利用动态ip代理，可以强有力地保障爬虫不会被封，能够正常运行。图1为使用代理ip的情况，图2是建ip代理池的代码，有没有必要需要看自己的需求，大型项目是必须用大量ip的。

Python爬虫动态ip代理防止被封的方法

做好以上3个步骤，大致爬虫的运行就不成问题了。

以上就是本次介绍的全部内容，感谢大家的学习和对三水点靠木的支持。

Python爬虫动态ip代理防止被封的方法

- Author -

撒撒撒windy

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python 基于Twisted框架的文件夹网络传输源码

Aug 28 Python

利用python程序生成word和PDF文档的方法

Feb 14 Python

TF-IDF算法解析与Python实现方法详解

Nov 16 Python

详解如何在Apache中运行Python WSGI应用

Jan 02 Python

Python3+Pycharm+PyQt5环境搭建步骤图文详解

May 29 Python

Python处理时间日期坐标轴过程详解

Jun 25 Python

使用Python画股票的K线图的方法步骤

Jun 28 Python

python实现智能语音天气预报

Dec 02 Python

numpy ndarray 取出满足特定条件的某些行实例

Dec 05 Python

python argparse传入布尔参数false不生效的解决

Apr 20 Python

pytorch 限制GPU使用效率详解(计算效率)

Jun 27 Python

详解Python遍历列表时删除元素的正确做法

Jan 07 Python

Python异常处理例题整理

Jul 07 #Python

解决pycharm下os.system执行命令返回有中文乱码的问题

Jul 07 #Python

在python中实现调用可执行文件.exe的3种方法

Jul 07 #Python

Python求两点之间的直线距离(2种实现方法)

Jul 07 #Python

对Python中画图时候的线类型详解

Jul 07 #Python

Python 3 实现定义跨模块的全局变量和使用教程

Jul 07 #Python

Python正则表达式匹配日期与时间的方法

Jul 07 #Python

You might like

php foreach 参数强制类型转换的问题

2010/12/10 PHP

PHP stripos()函数及注意事项的分析

2013/06/08 PHP

php限制文件下载速度的代码

2015/10/20 PHP

php实现的SSO单点登录系统接入功能示例分析

2016/10/12 PHP

php安装扩展mysqli的实现步骤及报错解决办法

2017/09/23 PHP

php5.5使用PHPMailer-5.2发送邮件的完整步骤

2018/10/14 PHP

php和C#的yield迭代器实现方法对比分析

2019/07/17 PHP

jQuery UI Datepicker length为空或不是对象错误的解决方法

2010/12/19 Javascript

S2SH整合JQuery+Ajax实现登录验证功能实现代码

2013/01/30 Javascript

js抽奖实现随机抽奖代码效果

2013/12/02 Javascript

JS实现仿google、百度搜索框输入信息智能提示的实现方法

2015/04/20 Javascript

js实现TAB切换对应不同颜色的代码

2015/08/31 Javascript

基于jQuery实现鼠标点击导航菜单水波动画效果附源码下载

2016/01/06 Javascript

js如何准确获取当前页面url网址信息

2020/09/13 Javascript

Vue.js每天必学之表单控件绑定

2016/09/05 Javascript

整理一下常见的IE错误

2016/11/18 Javascript

JS动态遍历json中所有键值对的方法(不知道属性名的情况)

2016/12/28 Javascript

JavaScript中的编码和解码函数

2017/02/15 Javascript

jQuery插件echarts实现的循环生成图效果示例【附demo源码下载】

2017/03/04 Javascript

通过vue提供的keep-alive减少对服务器的请求次数

2018/04/01 Javascript

jQuery实现的点击按钮改变样式功能示例

2018/07/21 jQuery

对vue中的事件穿透与禁止穿透实例详解

2019/10/28 Javascript

vue 解决数组赋值无法渲染在页面的问题

2019/10/28 Javascript

微信小程序实现登录注册功能

2020/12/29 Javascript

仅用50行Python代码实现一个简单的代理服务器

2015/04/08 Python

20招让你的Python飞起来!

2016/09/27 Python

python虚拟环境virualenv的安装与使用

2016/12/18 Python

关于python pyqt5安装失败问题的解决方法

2017/08/08 Python

python对Excel的读取的示例代码

2020/02/14 Python

解决Python spyder显示不全df列和行的问题

2020/04/20 Python

新西兰最大的在线设计师眼镜店：SmartBuyGlasses新西兰

2017/10/20 全球购物

2014年置业顾问工作总结

2014/11/17 职场文书

2014年乡镇工作总结

2014/11/21 职场文书

审美与表现自我评价

2015/03/09 职场文书

离职证明范本

2015/06/12 职场文书

百善孝为先：关于孝道的经典语录

2019/10/18 职场文书