Python中urllib2模块的8个使用细节分享


Posted in Python onJanuary 01, 2015

Python 标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 库的使用细节。

1 Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy,而不受环境变量的影响,可以使用下面的方式

import urllib2

 

enable_proxy = True

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})

null_proxy_handler = urllib2.ProxyHandler({})

 

if enable_proxy:

    opener = urllib2.build_opener(proxy_handler)

else:

    opener = urllib2.build_opener(null_proxy_handler)

 

urllib2.install_opener(opener)

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener。这样后面的使用会很方便,但不能做更细粒度的控制,比如想在程序中使用两个不同的 Proxy 设置等。比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

2 Timeout 设置

在老版本中,urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2

import socket

 

socket.setdefaulttimeout(10) # 10 秒钟后超时

urllib2.socket.setdefaulttimeout(10) # 另一种方式

在新的 Python 2.6 版本中,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。
import urllib2

response = urllib2.urlopen('http://www.google.com', timeout=10)

3 在 HTTP Request 中加入特定的 Header
要加入 Header,需要使用 Request 对象:
import urllib2

 

request = urllib2.Request(uri)

request.add_header('User-Agent', 'fake-client')

response = urllib2.urlopen(request)

对有些 header 要特别留意,Server 端会针对这些 header 做检查

1.User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request
2.Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

常见的取值有:

1.application/xml :在 XML RPC,如 RESTful/SOAP 调用时使用
2.application/json :在 JSON RPC 调用时使用
3.application/x-www-form-urlencoded :浏览器提交 Web 表单时使用
……

在使用 RPC 调用 Server 提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致 Server 拒绝服务。

4 Redirect

urllib2 默认情况下会针对 3xx HTTP 返回码自动进行 Redirect 动作,无需人工配置。要检测是否发生了 Redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2

response = urllib2.urlopen('http://www.google.cn')

redirected = response.geturl() == 'http://www.google.cn'

如果不想自动 Redirect,除了使用更低层次的 httplib 库之外,还可以使用自定义的 HTTPRedirectHandler 类。
import urllib2

 

class RedirectHandler(urllib2.HTTPRedirectHandler):

    def http_error_301(self, req, fp, code, msg, headers):

        pass

    def http_error_302(self, req, fp, code, msg, headers):

        pass

 

opener = urllib2.build_opener(RedirectHandler)

opener.open('http://www.google.cn')

5 Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2

import cookielib

 

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response = opener.open('http://www.google.com')

for item in cookie:

    if item.name == 'some_cookie_item_name':

        print item.value

6 使用 HTTP 的 PUT 和 DELETE 方法
urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 HTTP PUT 或 DELETE 的包:
import urllib2

 

request = urllib2.Request(uri, data=data)

request.get_method = lambda: 'PUT' # or 'DELETE'

response = urllib2.urlopen(request)

这种做法虽然属于 Hack 的方式,但实际使用起来也没什么问题。

7 得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2

try:

    response = urllib2.urlopen('http://restrict.web.com')

except urllib2.HTTPError, e:

    print e.code

8 Debug Log

使用 urllib2 时,可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便我们调试,在一定程度上可以省去抓包的工作。

import urllib2

 

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

 

urllib2.install_opener(opener)

response = urllib2.urlopen('http://www.google.com')
Python 相关文章推荐
Python单链表的简单实现方法
Sep 23 Python
python+flask实现API的方法
Nov 21 Python
python使用百度文字识别功能方法详解
Jul 23 Python
python基于gevent实现并发下载器代码实例
Nov 01 Python
Python如何使用BeautifulSoup爬取网页信息
Nov 26 Python
numpy.linalg.eig() 计算矩阵特征向量方式
Nov 29 Python
使用python实现名片管理系统
Jun 18 Python
OpenCV Python实现图像指定区域裁剪
Mar 12 Python
Python结合Window计划任务监测邮件的示例代码
Aug 05 Python
django使用graphql的实例
Sep 02 Python
python实现文件分片上传的接口自动化
Nov 19 Python
教你怎么用Python监控愉客行车程
Apr 29 Python
Python读取ini文件、操作mysql、发送邮件实例
Jan 01 #Python
Python实现检测服务器是否可以ping通的2种方法
Jan 01 #Python
Python Web框架Flask信号机制(signals)介绍
Jan 01 #Python
Python模拟登录12306的方法
Dec 30 #Python
python执行shell获取硬件参数写入mysql的方法
Dec 29 #Python
简单的抓取淘宝图片的Python爬虫
Dec 25 #Python
简单使用Python自动生成文章
Dec 25 #Python
You might like
第1次亲密接触PHP5(1)
2006/10/09 PHP
php上传、管理照片示例
2006/10/09 PHP
phpMyadmin 用户权限中英对照
2010/04/02 PHP
浅析SVN常见问题及解决方法
2013/06/21 PHP
浅析php中json_encode()和json_decode()
2014/05/25 PHP
实现在同一方法中获取当前方法中新赋值的session值解决方法
2014/06/26 PHP
php设计模式之委托模式
2016/02/13 PHP
浅谈php中的访问修饰符private、protected、public的作用范围
2016/11/20 PHP
PHP设计模式之PHP迭代器模式讲解
2019/03/22 PHP
For循环中分号隔开的3部分的执行顺序探讨
2014/05/27 Javascript
JavaScript Function函数类型介绍
2015/04/08 Javascript
javascript图片滑动效果实现
2021/01/28 Javascript
JS动态插入并立即执行回调函数的方法
2016/04/21 Javascript
基于BootStrap Metronic开发框架经验小结【四】Bootstrap图标的提取和利用
2016/05/12 Javascript
jQuery使用getJSON方法获取json数据完整示例
2016/09/13 Javascript
input输入框内容实时监测(附代码)
2017/08/15 Javascript
Node.js中sequelize时区的配置方法
2017/12/10 Javascript
vue实现的上传图片到数据库并显示到页面功能示例
2018/03/17 Javascript
Vue+Mock.js模拟登录和表格的增删改查功能
2018/07/26 Javascript
详解Python中的正则表达式
2018/07/08 Python
Python3实现取图片中特定的像素替换指定的颜色示例
2019/01/24 Python
三个python爬虫项目实例代码
2019/12/28 Python
解决启动django,浏览器显示“服务器拒绝访问”的问题
2020/05/13 Python
scrapy在python爬虫中搭建出错的解决方法
2020/11/22 Python
H5仿微信界面教程(一)
2017/07/05 HTML / CSS
澳大利亚电子产品购物网站:Dick Smith
2017/02/02 全球购物
Funko官方商店:源自美国,畅销全球搪胶收藏玩偶
2018/09/15 全球购物
Java servlet面试题
2012/03/04 面试题
学校与家长安全责任书
2014/07/23 职场文书
暑期政治学习心得体会
2014/09/02 职场文书
党员个人自我剖析材料
2014/10/08 职场文书
领导走群众路线整改措施思想汇报
2014/10/12 职场文书
校运会通讯稿
2015/07/18 职场文书
2016年暑假家长对孩子评语
2015/12/01 职场文书
python利用pandas分析学生期末成绩实例代码
2021/07/09 Python
SpringBoot详解整合Redis缓存方法
2022/07/15 Java/Android