Python urlopen()函数 示例分享


Posted in Python onJune 12, 2014

好了,废话少说,我们先看看几个示例吧

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

三、使用代理

1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

2. 设置环境变量

import os 
os.putenv("http_proxy", "http://proxyaddr:<port>")

3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
Python 相关文章推荐
python在不同层级目录import模块的方法
Jan 31 Python
python实现xlsx文件分析详解
Jan 02 Python
python3+PyQt5实现拖放功能
Apr 24 Python
tensorflow更改变量的值实例
Jul 30 Python
对python 合并 累加两个dict的实例详解
Jan 21 Python
python的一些加密方法及python 加密模块
Jul 11 Python
python django生成迁移文件的实例
Aug 31 Python
Python实现投影法分割图像示例(一)
Jan 17 Python
python GUI库图形界面开发之PyQt5访问系统剪切板QClipboard类详细使用方法与实例
Feb 27 Python
Python多线程threading join和守护线程setDeamon原理详解
Mar 18 Python
python 制作python包,封装成可用模块教程
Jul 13 Python
解决Windows下python和pip命令无法使用的问题
Aug 31 Python
python教程之用py2exe将PY文件转成EXE文件
Jun 12 #Python
Python struct模块解析
Jun 12 #Python
深度剖析使用python抓取网页正文的源码
Jun 11 #Python
python k-近邻算法实例分享
Jun 11 #Python
浅析python 内置字符串处理函数的使用方法
Jun 11 #Python
python使用正则表达式检测密码强度源码分享
Jun 11 #Python
Python查看多台服务器进程的脚本分享
Jun 11 #Python
You might like
PHP实现的字符串匹配算法示例【sunday算法】
2017/12/19 PHP
PHP实现Markdown文章上传到七牛图床的实例内容
2020/02/11 PHP
JavaScript面向对象(极简主义法minimalist approach)
2012/07/17 Javascript
js字母大小写转换实现方法总结
2013/11/13 Javascript
javascript判断网页是关闭还是刷新
2015/09/12 Javascript
简单介绍JavaScript数据类型之隐式类型转换
2015/12/28 Javascript
一种新的javascript对象创建方式Object.create()
2015/12/28 Javascript
JavaScript中的工厂函数(推荐)
2017/03/08 Javascript
Vue.js中数据绑定的语法教程
2017/06/02 Javascript
浅谈关于axios和session的一些事
2017/07/13 Javascript
Node.js原生api搭建web服务器的方法步骤
2019/02/15 Javascript
深入浅析Vue 中 ref 的使用
2019/04/29 Javascript
深入理解javascript prototype的相关知识
2019/09/19 Javascript
Nuxt v-bind绑定img src不显示的解决
2019/12/05 Javascript
vue-video-player 解决微信自动全屏播放问题(横竖屏导致样式错乱问题)
2020/02/25 Javascript
js实现幻灯片轮播图
2020/08/14 Javascript
toString.call()通用的判断数据类型方法示例
2020/08/28 Javascript
[42:00]完美世界DOTA2联赛PWL S3 Phoenix vs INK ICE 第一场 12.13
2020/12/17 DOTA
Python学习笔记(一)(基础入门之环境搭建)
2014/06/05 Python
对Pandas MultiIndex(多重索引)详解
2018/11/16 Python
Empty test suite.(PyCharm程序运行错误的解决方法)
2018/11/30 Python
Python-ElasticSearch搜索查询的讲解
2019/02/25 Python
python 在右键菜单中加入复制目标文件的有效存放路径(单斜杠或者双反斜杠)
2020/04/08 Python
浅析Python 字符编码与文件处理
2020/09/24 Python
Python为何不支持switch语句原理详解
2020/10/21 Python
解析HTML5中的新功能本地存储localStorage
2016/03/01 HTML / CSS
SQL语言面试题
2013/08/27 面试题
房地产员工找工作的自我评价
2013/11/15 职场文书
测绘工程专业个人自我评价
2013/12/01 职场文书
工程专业应届生求职信
2014/02/19 职场文书
国际贸易本科毕业生求职信
2014/09/26 职场文书
入股合作协议书
2014/10/12 职场文书
2014年安置帮教工作总结
2014/12/11 职场文书
个人催款函范文
2015/06/23 职场文书
高中班主任工作总结(范文)
2019/08/20 职场文书
Spring Boot 启动、停止、重启、状态脚本
2021/06/26 Java/Android