Python中urllib2模块的8个使用细节分享


Posted in Python onJanuary 01, 2015

Python 标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 库的使用细节。

1 Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy,而不受环境变量的影响,可以使用下面的方式

import urllib2

 

enable_proxy = True

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})

null_proxy_handler = urllib2.ProxyHandler({})

 

if enable_proxy:

    opener = urllib2.build_opener(proxy_handler)

else:

    opener = urllib2.build_opener(null_proxy_handler)

 

urllib2.install_opener(opener)

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener。这样后面的使用会很方便,但不能做更细粒度的控制,比如想在程序中使用两个不同的 Proxy 设置等。比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

2 Timeout 设置

在老版本中,urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2

import socket

 

socket.setdefaulttimeout(10) # 10 秒钟后超时

urllib2.socket.setdefaulttimeout(10) # 另一种方式

在新的 Python 2.6 版本中,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。
import urllib2

response = urllib2.urlopen('http://www.google.com', timeout=10)

3 在 HTTP Request 中加入特定的 Header
要加入 Header,需要使用 Request 对象:
import urllib2

 

request = urllib2.Request(uri)

request.add_header('User-Agent', 'fake-client')

response = urllib2.urlopen(request)

对有些 header 要特别留意,Server 端会针对这些 header 做检查

1.User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request
2.Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

常见的取值有:

1.application/xml :在 XML RPC,如 RESTful/SOAP 调用时使用
2.application/json :在 JSON RPC 调用时使用
3.application/x-www-form-urlencoded :浏览器提交 Web 表单时使用
……

在使用 RPC 调用 Server 提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致 Server 拒绝服务。

4 Redirect

urllib2 默认情况下会针对 3xx HTTP 返回码自动进行 Redirect 动作,无需人工配置。要检测是否发生了 Redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2

response = urllib2.urlopen('http://www.google.cn')

redirected = response.geturl() == 'http://www.google.cn'

如果不想自动 Redirect,除了使用更低层次的 httplib 库之外,还可以使用自定义的 HTTPRedirectHandler 类。
import urllib2

 

class RedirectHandler(urllib2.HTTPRedirectHandler):

    def http_error_301(self, req, fp, code, msg, headers):

        pass

    def http_error_302(self, req, fp, code, msg, headers):

        pass

 

opener = urllib2.build_opener(RedirectHandler)

opener.open('http://www.google.cn')

5 Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2

import cookielib

 

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response = opener.open('http://www.google.com')

for item in cookie:

    if item.name == 'some_cookie_item_name':

        print item.value

6 使用 HTTP 的 PUT 和 DELETE 方法
urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 HTTP PUT 或 DELETE 的包:
import urllib2

 

request = urllib2.Request(uri, data=data)

request.get_method = lambda: 'PUT' # or 'DELETE'

response = urllib2.urlopen(request)

这种做法虽然属于 Hack 的方式,但实际使用起来也没什么问题。

7 得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2

try:

    response = urllib2.urlopen('http://restrict.web.com')

except urllib2.HTTPError, e:

    print e.code

8 Debug Log

使用 urllib2 时,可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便我们调试,在一定程度上可以省去抓包的工作。

import urllib2

 

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

 

urllib2.install_opener(opener)

response = urllib2.urlopen('http://www.google.com')
Python 相关文章推荐
python django集成cas验证系统
Jul 14 Python
python实现斐波那契递归函数的方法
Sep 08 Python
Python Socket传输文件示例
Jan 16 Python
Python与Java间Socket通信实例代码
Mar 06 Python
Python中elasticsearch插入和更新数据的实现方法
Apr 01 Python
TensorFlow 合并/连接数组的方法
Jul 27 Python
详解python使用pip安装第三方库(工具包)速度慢、超时、失败的解决方案
Dec 02 Python
python selenium执行所有测试用例并生成报告的方法
Feb 13 Python
使用Python实现跳一跳自动跳跃功能
Jul 10 Python
Python实现简单的列表冒泡排序和反转列表操作示例
Jul 10 Python
简单了解python调用其他脚本方法实例
Mar 26 Python
python数据抓取3种方法总结
Feb 07 Python
Python读取ini文件、操作mysql、发送邮件实例
Jan 01 #Python
Python实现检测服务器是否可以ping通的2种方法
Jan 01 #Python
Python Web框架Flask信号机制(signals)介绍
Jan 01 #Python
Python模拟登录12306的方法
Dec 30 #Python
python执行shell获取硬件参数写入mysql的方法
Dec 29 #Python
简单的抓取淘宝图片的Python爬虫
Dec 25 #Python
简单使用Python自动生成文章
Dec 25 #Python
You might like
php重定向的三种方法分享
2012/02/22 PHP
php setcookie(name, value, expires, path, domain, secure) 参数详解
2013/06/28 PHP
PHP中isset()和unset()函数的用法小结
2014/03/11 PHP
WordPress中"无法将上传的文件移动至"错误的解决方法
2015/07/01 PHP
js动态加载以及确定加载完成的代码
2011/07/31 Javascript
javascript面向对象包装类Class封装类库剖析
2013/01/24 Javascript
table行随鼠标移动变色示例
2014/05/07 Javascript
SuperSlide2实现图片滚动特效
2014/06/20 Javascript
Javascript检查图片大小不要让大图片撑破页面
2014/11/04 Javascript
JavaScript的9种继承实现方式归纳
2015/05/18 Javascript
jQuery 判断图片是否加载完成方法汇总
2015/08/10 Javascript
JS+CSS实现大气的黑色首页导航菜单效果代码
2015/09/10 Javascript
jQuery获取cookie值及删除cookie用法实例
2016/04/15 Javascript
javascript中JSON.parse()与eval()解析json的区别
2016/05/19 Javascript
angularjs中使用ng-bind-html和ng-include的实例
2017/04/28 Javascript
深入浅析JSONAPI在PHP中的应用
2017/12/24 Javascript
js中getBoundingClientRect的作用及兼容方案详解
2018/02/01 Javascript
JavaScript面向对象程序设计中对象的定义和继承详解
2019/07/29 Javascript
JS回调函数深入理解
2019/10/16 Javascript
vue中使用rem布局代码详解
2019/10/30 Javascript
javascript canvas实现简易时钟例子
2020/09/05 Javascript
vue等两个接口都返回结果再执行下一步的实例
2020/09/08 Javascript
Python脚本实现网卡流量监控
2015/02/14 Python
利用python操作SQLite数据库及文件操作详解
2017/09/22 Python
Python 日期与时间转换的方法
2020/08/01 Python
Django用户认证系统如何实现自定义
2020/11/12 Python
HTML5 Canvas 实现圆形进度条并显示数字百分比效果示例
2017/08/18 HTML / CSS
菲律宾领先的在线时尚商店:Zalora菲律宾
2018/02/08 全球购物
主键(Primary Key)约束和唯一性(UNIQUE)约束的区别
2013/05/29 面试题
计算机专业自我鉴定
2013/10/15 职场文书
工商局所长四风自我剖析及整改措施
2014/10/26 职场文书
2016春季幼儿园开学寄语
2015/12/03 职场文书
超详细教你怎么升级Mysql的版本
2021/05/19 MySQL
国庆节到了,利用JS实现一个生成国庆风头像的小工具 详解实现过程
2021/10/05 Javascript
忘记Grafana不要紧2种Grafana重置admin密码方法详细步骤
2022/04/07 Servers
Windows10安装Apache2.4的方法步骤
2022/06/25 Servers