检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
python matplotlib 注释文本箭头简单代码示例
Jan 08 Python
CentOS 7下安装Python3.6 及遇到的问题小结
Nov 08 Python
Python脚本修改阿里云的访问控制列表的方法
Mar 08 Python
Python魔法方法功能与用法简介
Apr 04 Python
11个Python Pandas小技巧让你的工作更高效(附代码实例)
Apr 30 Python
python实现猜拳小游戏
Apr 05 Python
python将数组n等分的实例
Dec 02 Python
Ranorex通过Python将报告发送到邮箱的方法
Jan 12 Python
python同义词替换的实现(jieba分词)
Jan 21 Python
详解Django配置JWT认证方式
May 09 Python
python爬虫中的url下载器用法详解
Nov 30 Python
python 监控服务器是否有人远程登录(详细思路+代码)
Dec 18 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
一些php技巧与注意事项分析
2011/02/03 PHP
PHP四舍五入精确小数位及取整
2014/01/14 PHP
PHP实现AES256加密算法实例
2014/09/22 PHP
PHP实现简易blog的制作
2016/10/24 PHP
PHP基于Closure类创建匿名函数的方法详解
2017/08/17 PHP
javascript 系统文件夹文件操作及参数介绍
2013/01/08 Javascript
javascript的渐进增强与平稳退化浅谈
2013/11/12 Javascript
JavaSript中变量的作用域闭包的深入理解
2014/05/12 Javascript
jquery删除指定子元素代码实例
2015/01/13 Javascript
JS实现网页滚动条感应鼠标变色的方法
2015/02/26 Javascript
jQuery实现菜单式图片滑动切换
2015/03/14 Javascript
AngularJS基础 ng-keyup 指令简单示例
2016/08/02 Javascript
onmouseover事件和onmouseout事件全面理解
2016/08/15 Javascript
详解vue-router数据加载与缓存使用总结
2018/10/29 Javascript
vue.js层叠轮播效果的实例代码
2018/11/08 Javascript
Vue表情输入组件 微信face表情组件
2019/02/11 Javascript
js中offset,client , scroll 三大元素知识点总结
2019/09/11 Javascript
[00:33]DOTA2上海特级锦标赛 CDEC战队宣传片
2016/03/04 DOTA
[01:26]神话结束了,却也刚刚开始——DOTA2新英雄玛尔斯驾临战场
2019/03/10 DOTA
Python入门篇之编程习惯与特点
2014/10/17 Python
python使用append合并两个数组的方法
2015/04/28 Python
Python实现树莓派WiFi断线自动重连的实例代码
2017/03/16 Python
Python创建对称矩阵的方法示例【基于numpy模块】
2017/10/12 Python
Python使用matplotlib填充图形指定区域代码示例
2018/01/16 Python
python邮件发送smtplib使用详解
2020/06/16 Python
Python 3 判断2个字典相同
2019/08/06 Python
3行Python代码实现图像照片抠图和换底色的方法
2019/10/10 Python
Django用户登录与注册系统的实现示例
2020/06/03 Python
python音频处理的示例详解
2020/12/23 Python
Python入门基础之数字字符串与列表
2021/02/01 Python
CSS3条纹背景制作的实战攻略
2016/05/31 HTML / CSS
突袭HTML5之Javascript API扩展1—Web Worker异步执行及相关概述
2013/01/31 HTML / CSS
鱼油专家:Omegavia
2016/10/10 全球购物
动态密码技术
2012/10/18 面试题
法律专业应届本科毕业生求职信
2013/10/25 职场文书
食品安全承诺书
2014/05/22 职场文书