Python基于scrapy采集数据时使用代理服务器的方法


Posted in Python onApril 16, 2015

本文实例讲述了Python基于scrapy采集数据时使用代理服务器的方法。分享给大家供大家参考。具体如下:

# To authenticate the proxy, 
#you must set the Proxy-Authorization header. 
#You *cannot* use the form http://user:pass@proxy:port 
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
python中使用enumerate函数遍历元素实例
Jun 16 Python
Python多进程通信Queue、Pipe、Value、Array实例
Nov 21 Python
编写自定义的Django模板加载器的简单示例
Jul 21 Python
基础的十进制按位运算总结与在Python中的计算示例
Jun 28 Python
Python机器学习之SVM支持向量机
Dec 27 Python
安装python时MySQLdb报错的问题描述及解决方法
Mar 20 Python
详解Django 中是否使用时区的区别
Jun 14 Python
详解Python中is和==的区别
Mar 21 Python
详解Python连接MySQL数据库的多种方式
Apr 16 Python
python 数据提取及拆分的实现代码
Aug 26 Python
安装python依赖包psycopg2来调用postgresql的操作
Jan 01 Python
Python基础详解之描述符
Apr 28 Python
在Python的gevent框架下执行异步的Solr查询的教程
Apr 16 #Python
使用Python的Treq on Twisted来进行HTTP压力测试
Apr 16 #Python
Python3中多线程编程的队列运作示例
Apr 16 #Python
使用Python脚本操作MongoDB的教程
Apr 16 #Python
使用Python中的greenlet包实现并发编程的入门教程
Apr 16 #Python
利用Python的Twisted框架实现webshell密码扫描器的教程
Apr 16 #Python
使用Python的Twisted框架实现一个简单的服务器
Apr 16 #Python
You might like
Linux中用PHP判断程序运行状态的2个方法
2014/05/04 PHP
PHP遍历目录并返回统计目录大小
2014/06/09 PHP
PHP实现数组根据某个字段进行水平合并,横向合并案例分析
2019/10/08 PHP
javascript下给元素添加事件的方法与代码
2007/08/13 Javascript
js判断IE6/IE7/FF的代码[XMLHttpRequest]
2011/02/16 Javascript
js URL参数的拼接方法比较
2012/02/15 Javascript
jQuery的显示和隐藏方法与css隐藏的样式对比
2013/10/18 Javascript
Js实现手机发送验证码时按钮延迟操作
2014/06/20 Javascript
深入分析Cookie的安全性问题
2015/03/01 Javascript
JavaScript判断用户是否对表单进行了修改的方法
2015/03/18 Javascript
jq stop()和:is(:animated)的用法及区别(详解)
2017/02/12 Javascript
JavaScript闭包和回调详解
2017/08/09 Javascript
深入理解Vue.js源码之事件机制
2017/09/27 Javascript
基于node.js实现微信支付退款功能
2017/12/19 Javascript
为什么使用koa2搭建微信第三方公众平台的原因
2018/05/16 Javascript
浅析Vue 和微信小程序的区别、比较
2018/08/03 Javascript
小程序实现多选框功能
2018/10/30 Javascript
js实现碰撞检测
2021/01/29 Javascript
[01:11:21]DOTA2-DPC中国联赛 正赛 VG vs Elephant BO3 第一场 3月6日
2021/03/11 DOTA
Python sys.argv用法实例
2015/05/28 Python
Python爬豆瓣电影实例
2018/02/23 Python
python实现决策树分类
2018/08/30 Python
详解python中的数据类型和控制流
2019/08/08 Python
解决Python3.8用pip安装turtle-0.0.2出现错误问题
2020/02/11 Python
python实现人机五子棋
2020/03/25 Python
QML用PathView实现轮播图
2020/06/03 Python
Python操控mysql批量插入数据的实现方法
2020/10/27 Python
纯HTML5+CSS3制作生日蛋糕代码
2016/11/16 HTML / CSS
HTML5中Localstorage的使用教程
2015/07/09 HTML / CSS
详解如何解决H5开发使用wx.hideMenuItems无效果不生效
2021/01/20 HTML / CSS
酒店总经理欢迎词
2014/01/15 职场文书
大专应届毕业生求职信
2014/07/15 职场文书
简易离婚协议书范本2014
2014/10/15 职场文书
工伤事故赔偿协议书
2014/10/27 职场文书
纯 CSS 自定义多行省略的问题(从原理到实现)
2021/11/11 HTML / CSS
十大动画制作软件,Adobe产品上榜两款,第一是行业标准软件
2022/03/18 杂记