Python基于scrapy采集数据时使用代理服务器的方法


Posted in Python onApril 16, 2015

本文实例讲述了Python基于scrapy采集数据时使用代理服务器的方法。分享给大家供大家参考。具体如下:

# To authenticate the proxy, 
#you must set the Proxy-Authorization header. 
#You *cannot* use the form http://user:pass@proxy:port 
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
Python实现批量转换文件编码的方法
Jul 28 Python
详解在Python程序中解析并修改XML内容的方法
Nov 16 Python
python实现的AES双向对称加密解密与用法分析
May 02 Python
Python Socket实现简单TCP Server/client功能示例
Aug 05 Python
Python遍历pandas数据方法总结
Feb 09 Python
django 实现电子支付功能的示例代码
Jul 25 Python
python单例模式获取IP代理的方法详解
Sep 13 Python
Python3.5多进程原理与用法实例分析
Apr 05 Python
python zip()函数使用方法解析
Oct 31 Python
解决tensorflow由于未初始化变量而导致的错误问题
Jan 06 Python
PyCharm设置Ipython交互环境和宏快捷键进行数据分析图文详解
Apr 23 Python
Python调用shell cmd方法代码示例解析
Jun 18 Python
在Python的gevent框架下执行异步的Solr查询的教程
Apr 16 #Python
使用Python的Treq on Twisted来进行HTTP压力测试
Apr 16 #Python
Python3中多线程编程的队列运作示例
Apr 16 #Python
使用Python脚本操作MongoDB的教程
Apr 16 #Python
使用Python中的greenlet包实现并发编程的入门教程
Apr 16 #Python
利用Python的Twisted框架实现webshell密码扫描器的教程
Apr 16 #Python
使用Python的Twisted框架实现一个简单的服务器
Apr 16 #Python
You might like
漫威DC即将合作联动,而双方早已经秘密开始
2020/04/09 欧美动漫
php实现根据词频生成tag云的方法
2015/04/17 PHP
PHP、Java des加密解密实例
2015/04/27 PHP
PHP云打印类完整示例
2016/10/15 PHP
如何离线执行php任务
2017/02/21 PHP
php实现和c#一致的DES加密解密实例
2017/07/24 PHP
JavaScript起点(严格模式深度了解)
2013/01/28 Javascript
jquery怎样实现ajax联动框(二)
2013/03/08 Javascript
模拟多级复选框效果的jquery代码
2013/08/13 Javascript
js实现幻灯片效果(基于jquery插件)
2013/11/05 Javascript
JavaScript获取某年某月的最后一天附截图
2014/06/23 Javascript
jQuery中andSelf()方法用法实例
2015/01/08 Javascript
JS+CSS简单树形菜单实现方法
2015/09/12 Javascript
jQuery实现获取h1-h6标题元素值的方法
2017/03/06 Javascript
Vue2.0使用过程常见的一些问题总结学习
2017/04/10 Javascript
详解如何在webpack中做预渲染降低首屏空白时间
2018/08/22 Javascript
删除目录下相同文件的python代码(逐级优化)
2012/05/25 Python
简单谈谈python的反射机制
2016/06/28 Python
Python selenium如何设置等待时间
2016/09/15 Python
win10环境下python3.5安装步骤图文教程
2017/02/03 Python
Python多进程multiprocessing用法实例分析
2017/08/18 Python
python实现百万答题自动百度搜索答案
2018/01/16 Python
python爬虫之线程池和进程池功能与用法详解
2018/08/02 Python
wxPython实现分隔窗口
2019/11/19 Python
使用Python封装excel操作指南
2021/01/29 Python
HTML5 source标签:媒介元素定义媒介资源
2018/01/29 HTML / CSS
Michael Kors加拿大官网:购买设计师手袋、手表、鞋子、服装等
2019/03/16 全球购物
纯净、自信、100%的羊绒服装:360Cashmere
2021/02/20 全球购物
Android面试宝典
2013/08/06 面试题
人力资源经理的岗位职责范本
2014/02/28 职场文书
2014物价局群众路线对照检查材料思想汇报
2014/09/21 职场文书
2014年村党支部工作总结
2014/12/04 职场文书
2015年质检工作总结
2015/05/04 职场文书
Redis之RedisTemplate配置方式(序列和反序列化)
2022/03/13 Redis
详解Mysql数据库平滑扩容解决高并发和大数据量问题
2022/05/25 MySQL
python解析照片拍摄时间进行图片整理
2022/07/23 Python