检测python爬虫时是否代理ip伪装成功的方法


Posted in Python onJuly 12, 2019

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

Python 相关文章推荐
videocapture库制作python视频高速传输程序
Dec 23 Python
python实现的重启关机程序实例
Aug 21 Python
CentOS 6.5中安装Python 3.6.2的方法步骤
Dec 03 Python
详解python中Numpy的属性与创建矩阵
Sep 10 Python
解决pycharm无法识别本地site-packages的问题
Oct 13 Python
python同时遍历数组的索引和值的实例
Nov 15 Python
对python中GUI,Label和Button的实例详解
Jun 27 Python
python 环境搭建 及python-3.4.4的下载和安装过程
Jul 20 Python
使用Python画出小人发射爱心的代码
Nov 23 Python
numpy.transpose()实现数组的转置例子
Dec 02 Python
Python使用jpype模块调用jar包过程解析
Jul 29 Python
利用Pycharm连接服务器的全过程记录
Jul 01 Python
在PyCharm中控制台输出日志分层级分颜色显示的方法
Jul 11 #Python
基于sklearn实现Bagging算法(python)
Jul 11 #Python
Python的log日志功能及设置方法
Jul 11 #Python
python使用装饰器作日志处理的方法
Jul 11 #Python
Python日志无延迟实时写入的示例
Jul 11 #Python
深入了解Python iter() 方法的用法
Jul 11 #Python
用python给自己做一款小说阅读器过程详解
Jul 11 #Python
You might like
PHP新手上路(十三)
2006/10/09 PHP
php实现根据url自动生成缩略图的方法
2014/09/23 PHP
PHP实现绘制3D扇形统计图及图片缩放实例
2014/10/01 PHP
PHP使用mysql_fetch_object从查询结果中获取对象集的方法
2015/03/18 PHP
解决ThinkPHP下使用上传插件Uploadify浏览器firefox报302错误的方法
2015/12/18 PHP
PHP中for循环与foreach的区别
2017/03/06 PHP
Thinkphp5+Redis实现商品秒杀代码实例讲解
2020/12/29 PHP
javascript instanceof 与typeof使用说明
2010/01/11 Javascript
JavaScript对象创建及继承原理实例解剖
2013/02/28 Javascript
JS实现距离上次刷新已过多少秒示例
2014/05/23 Javascript
javascript实现获取浏览器版本、操作系统类型
2015/01/29 Javascript
JavaScript实现文字与图片拖拽效果的方法
2015/02/16 Javascript
关于javascript事件响应的基础语法总结(必看篇)
2016/12/26 Javascript
JavaScript中的E-mail 地址格式验证
2018/03/28 Javascript
浅谈JS和jQuery的区别
2019/03/27 jQuery
Python获取Windows或Linux主机名称通用函数分享
2014/11/22 Python
python使用tkinter实现简单计算器
2018/01/30 Python
python opencv3实现人脸识别(windows)
2018/05/25 Python
python selenium 查找隐藏元素 自动播放视频功能
2019/07/24 Python
TensorFlow 读取CSV数据的实例
2020/02/05 Python
python GUI库图形界面开发之PyQt5 MDI(多文档窗口)QMidArea详细使用方法与实例
2020/03/05 Python
matplotlib绘制正余弦曲线图的实现
2021/02/22 Python
解决PDF 转图片时丢文字的一种可能方式
2021/03/04 Python
莫斯科隐形眼镜网上商店:Linzi
2019/07/22 全球购物
意大利巧克力店:Chocolate Shop
2019/07/24 全球购物
thinkphp5 redis缓存新增方法实例讲解
2021/03/24 PHP
解决python 输出到csv 出现多空行的情况
2021/03/24 Python
毕业生就业自荐书
2013/12/15 职场文书
技术比武方案
2014/05/19 职场文书
养成教育经验材料
2014/05/26 职场文书
个人剖析材料范文
2014/09/30 职场文书
捐款通知怎么写
2015/04/24 职场文书
给校长的建议书范文
2015/09/14 职场文书
幼儿园大班开学寄语(2016秋季)
2015/12/03 职场文书
python使用tkinter实现透明窗体上绘制随机出现的小球(实例代码)
2021/05/17 Python
实操Python爬取觅知网素材图片示例
2021/11/27 Python