检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
Python备份Mysql脚本
Aug 11 Python
Python模块学习 datetime介绍
Aug 27 Python
浅谈Python2获取中文文件名的编码问题
Jan 09 Python
python实现Windows电脑定时关机
Jun 20 Python
python计算阶乘和的方法(1!+2!+3!+...+n!)
Feb 01 Python
Python 微信之获取好友昵称并制作wordcloud的实例
Feb 21 Python
numpy数组广播的机制
Jul 12 Python
python 解决flask uwsgi 获取不到全局变量的问题
Dec 22 Python
pytorch 实现打印模型的参数值
Dec 30 Python
python线程join方法原理解析
Feb 11 Python
python中的yield from语法快速学习
Nov 06 Python
用Python监控你的朋友都在浏览哪些网站?
May 27 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
【动漫杂谈】关于《请在T台上微笑》
2020/03/03 日漫
用cookies来跟踪识别用户
2006/10/09 PHP
php通过array_merge()函数合并关联和非关联数组的方法
2015/03/18 PHP
php中使用base HTTP验证的方法
2015/04/20 PHP
ZF框架实现发送邮件的方法
2015/12/03 PHP
Yii中CGridView实现批量删除的方法
2015/12/28 PHP
js中符号转意问题示例探讨
2013/08/19 Javascript
js中opener与parent的区别详细解析
2014/01/14 Javascript
JavaScript Math.floor方法(对数值向下取整)
2015/01/09 Javascript
使用jQuery在对象中缓存选择器的简单方法
2015/06/30 Javascript
JavaScript简单下拉菜单实例代码
2015/09/07 Javascript
把普通对象转换成json格式的对象的简单实例
2016/07/04 Javascript
微信小程序如何获知用户运行小程序的场景教程
2017/05/17 Javascript
js字符限制(字符截取) 一个中文汉字算两个字符
2017/09/12 Javascript
vue+element加入签名效果(移动端可用)
2019/06/17 Javascript
关于layui表单中按钮自动提交的解决方法
2019/09/09 Javascript
JS实现TITLE悬停长久显示效果完整示例
2020/02/11 Javascript
js实现烟花特效
2020/03/02 Javascript
JavaScript装箱及拆箱boxing及unBoxing用法解析
2020/06/15 Javascript
python多线程threading.Lock锁用法实例
2014/11/01 Python
Python中的高级函数map/reduce使用实例
2015/04/13 Python
Python实现查找匹配项作处理后再替换回去的方法
2017/06/10 Python
python opencv 直方图反向投影的方法
2018/02/24 Python
Laravel+Dingo/Api 自定义响应的实现
2019/02/17 Python
Python和Go语言的区别总结
2019/02/20 Python
Python中的异常处理try/except/finally/raise用法分析
2019/02/28 Python
Python使用numpy模块实现矩阵和列表的连接操作方法
2019/06/26 Python
python入门教程之基本算术运算符
2020/11/13 Python
NARS化妆品官方商店:美国彩妆品牌
2017/08/26 全球购物
中学门卫岗位职责
2013/12/26 职场文书
班班通校本培训方案
2014/03/12 职场文书
留学经费担保书
2014/05/12 职场文书
关于践行三严三实的心得体会
2016/01/05 职场文书
考生诚信考试承诺书(2016版)
2016/03/25 职场文书
2019年工作总结范文
2019/05/21 职场文书
使用Django框架创建项目
2022/06/10 Python