Python urlopen()函数 示例分享


Posted in Python onJune 12, 2014

好了,废话少说,我们先看看几个示例吧

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

三、使用代理

1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

2. 设置环境变量

import os 
os.putenv("http_proxy", "http://proxyaddr:<port>")

3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
Python 相关文章推荐
python fabric实现远程操作和部署示例
Mar 25 Python
python使用matplotlib绘制折线图教程
Feb 08 Python
pandas 两列时间相减换算为秒的方法
Apr 20 Python
Python中文件的读取和写入操作
Apr 27 Python
python实现多层感知器MLP(基于双月数据集)
Jan 18 Python
Python中常用的内置方法
Jan 28 Python
python实现局域网内实时通信代码
Dec 22 Python
在tensorflow下利用plt画论文中loss,acc等曲线图实例
Jun 15 Python
运行python提示no module named sklearn的解决方法
Nov 29 Python
Python实现给PDF添加水印的方法
Jan 25 Python
用python制作个视频下载器
Feb 01 Python
Python实战之疫苗研发情况可视化
May 18 Python
python教程之用py2exe将PY文件转成EXE文件
Jun 12 #Python
Python struct模块解析
Jun 12 #Python
深度剖析使用python抓取网页正文的源码
Jun 11 #Python
python k-近邻算法实例分享
Jun 11 #Python
浅析python 内置字符串处理函数的使用方法
Jun 11 #Python
python使用正则表达式检测密码强度源码分享
Jun 11 #Python
Python查看多台服务器进程的脚本分享
Jun 11 #Python
You might like
php实现的mongoDB单例模式操作类
2018/01/20 PHP
jQuery fadeTo方法调整图片的透明度使用介绍
2013/05/06 Javascript
jquery导航制件jquery鼠标经过变色效果示例
2013/12/05 Javascript
Javascript 读取操作Sql中的Xml字段
2014/10/09 Javascript
使表格的标题列可左右拉伸jquery插件封装
2014/11/24 Javascript
node.js中的http.createClient方法使用说明
2014/12/15 Javascript
javascript编写贪吃蛇游戏
2015/07/07 Javascript
js+css实现有立体感的按钮式文字竖排菜单效果
2015/09/01 Javascript
JS针对浏览器窗口关闭事件的监听方法集锦
2016/06/24 Javascript
BootStrap glyphicon图标无法显示的解决方法
2016/09/06 Javascript
微信小程序 天气预报开发实例代码源码
2017/01/20 Javascript
jQuery使用unlock.js插件实现滑动解锁
2017/04/04 jQuery
jquery根据name取得select选中的值实例(超简单)
2018/01/25 jQuery
nodejs使用redis作为缓存介质实现的封装缓存类示例
2018/02/07 NodeJs
JS模拟实现哈希表及应用详解
2018/05/04 Javascript
node中的cookie的具体使用
2018/09/13 Javascript
Vue实现多标签选择器
2019/11/28 Javascript
jQuery 隐藏/显示效果函数用法实例分析
2020/05/20 jQuery
python简单图片操作:打开\显示\保存图像方法介绍
2017/11/23 Python
Python自动化运维之IP地址处理模块详解
2017/12/10 Python
解决pandas无法在pycharm中使用plot()方法显示图像的问题
2018/05/24 Python
Python简单实现网页内容抓取功能示例
2018/06/07 Python
python3.7.0的安装步骤
2018/08/27 Python
django解决跨域请求的问题详解
2019/01/20 Python
Python+OpenCv制作证件图片生成器的操作方法
2019/08/21 Python
python 哈希表实现简单python字典代码实例
2019/09/27 Python
python将数组n等分的实例
2019/12/02 Python
Python常用模块os.path之文件及路径操作方法
2019/12/03 Python
python实现双色球随机选号
2020/01/01 Python
python实现时间序列自相关图(acf)、偏自相关图(pacf)教程
2020/06/03 Python
使用CSS变量实现炫酷惊人的悬浮效果
2019/04/26 HTML / CSS
html5 canvas 画图教程案例分析
2012/11/23 HTML / CSS
小学爱国卫生月活动总结
2014/06/30 职场文书
2016天猫双十一广告语
2016/01/28 职场文书
Mysql如何实现不存在则插入,存在则更新
2022/03/25 MySQL
Nginx使用ngx_http_upstream_module实现负载均衡功能示例
2022/08/05 Servers