编程 Python

Python爬虫动态ip代理防止被封的方法

Posted in Python onJuly 07, 2019

在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封

首先，设置等待时间：

常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性

第二步，修改请求头：

识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'

Python爬虫动态ip代理防止被封的方法

第三步，采用代理ip/建代理ip池

直接看代码。利用动态ip代理，可以强有力地保障爬虫不会被封，能够正常运行。图1为使用代理ip的情况，图2是建ip代理池的代码，有没有必要需要看自己的需求，大型项目是必须用大量ip的。

Python爬虫动态ip代理防止被封的方法

做好以上3个步骤，大致爬虫的运行就不成问题了。

以上就是本次介绍的全部内容，感谢大家的学习和对三水点靠木的支持。

Python爬虫动态ip代理防止被封的方法

- Author -

撒撒撒windy

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

python使用PIL缩放网络图片并保存的方法

Apr 24 Python

Python字符串替换实例分析

May 11 Python

Python实现PS滤镜的旋转模糊功能示例

Jan 20 Python

使用matplotlib画散点图的方法

May 25 Python

详解将Django部署到Centos7全攻略

Sep 26 Python

Python3 安装PyQt5及exe打包图文教程

Jan 08 Python

Python OpenCV中的resize()函数的使用

Jun 20 Python

Python制作简易版小工具之计算天数的实现思路

Feb 13 Python

浅谈pytorch torch.backends.cudnn设置作用

Feb 20 Python

Python多线程多进程实例对比解析

Mar 12 Python

python适合做数据挖掘吗

Jun 16 Python

python实现不同数据库间数据同步功能

Feb 25 Python

Python异常处理例题整理

Jul 07 #Python

解决pycharm下os.system执行命令返回有中文乱码的问题

Jul 07 #Python

在python中实现调用可执行文件.exe的3种方法

Jul 07 #Python

Python求两点之间的直线距离(2种实现方法)

Jul 07 #Python

对Python中画图时候的线类型详解

Jul 07 #Python

Python 3 实现定义跨模块的全局变量和使用教程

Jul 07 #Python

Python正则表达式匹配日期与时间的方法

Jul 07 #Python

You might like

PHP基础学习之流程控制的实现分析

2013/04/28 PHP

如何使用PHP计算上一个月的今天

2013/05/23 PHP

php使用ICQ网关发送手机短信

2013/10/30 PHP

PHP小教程之实现链表

2014/06/09 PHP

php中用memcached实现页面防刷新功能

2014/08/19 PHP

discuz图片顺序混乱解决方案

2015/07/29 PHP

扩展jquery实现客户端表格的分页、排序功能代码

2011/03/16 Javascript

6款新颖的jQuery和CSS3进度条插件推荐

2013/03/05 Javascript

jquery实现简单的拖拽效果实例兼容所有主流浏览器

2013/06/21 Javascript

JavaScript将相对地址转换为绝对地址示例代码

2013/07/19 Javascript

简介JavaScript中search()方法的使用

2015/06/06 Javascript

javascript给span标签赋值的方法

2015/11/26 Javascript

开启BootStrap学习之旅

2016/05/04 Javascript

React利用插件和不用插件实现双向绑定的方法详解

2017/07/03 Javascript

基于substring()和substr()的使用以及区别(实例讲解)

2017/12/28 Javascript

微信小程序实现折叠面板

2018/01/31 Javascript

浅谈ng-zorro使用心得

2018/12/03 Javascript

Vue render函数实战之实现tabs选项卡组件

2019/04/22 Javascript

NodeJs crypto加密制作token的实现代码

2019/11/15 NodeJs

[03:12]完美世界DOTA2联赛PWL DAY9集锦

2020/11/10 DOTA

Django中cookie的基本使用方法示例

2018/02/03 Python

python3操作微信itchat实现发送图片

2018/02/24 Python

Django学习笔记之ORM基础教程

2018/03/27 Python

python加密解密库cryptography使用openSSL生成的密匙加密解密

2020/02/11 Python

Python中logger日志模块详解

2020/08/04 Python

Python用户自定义异常的实现

2020/12/25 Python

将一个数的从第5位开始的7个数取出，其余位置0

2016/05/26 面试题

工商管理专业实习生自我鉴定

2013/09/29 职场文书

自荐书格式

2013/12/01 职场文书

业务员的岗位职责

2014/03/15 职场文书

体育运动口号

2014/06/09 职场文书

迎七一演讲稿

2014/09/12 职场文书

2014年体育工作总结

2014/11/24 职场文书

2014年机关后勤工作总结

2014/12/16 职场文书

财务会计岗位职责

2015/02/03 职场文书

秋菊打官司观后感

2015/06/03 职场文书