Python使用urllib模块的urlopen超时问题解决方法


Posted in Python onNovember 08, 2014

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:

import socket

然后:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

Python 相关文章推荐
python实现爬虫下载漫画示例
Feb 16 Python
python基于xml parse实现解析cdatasection数据
Sep 30 Python
在Linux中通过Python脚本访问mdb数据库的方法
May 06 Python
利用Python如何生成随机密码
Apr 20 Python
利用Python操作消息队列RabbitMQ的方法教程
Jul 19 Python
python安装numpy&安装matplotlib& scipy的教程
Nov 02 Python
Python判断两个对象相等的原理
Dec 12 Python
使用python实现链表操作
Jan 26 Python
浅谈django orm 优化
Aug 18 Python
在python中使用xlrd获取合并单元格的方法
Dec 26 Python
利用python和百度地图API实现数据地图标注的方法
May 13 Python
Pandas之read_csv()读取文件跳过报错行的解决
Apr 21 Python
Python set集合类型操作总结
Nov 07 #Python
数据挖掘之Apriori算法详解和Python实现代码分享
Nov 07 #Python
Python的subprocess模块总结
Nov 07 #Python
Python实现的监测服务器硬盘使用率脚本分享
Nov 07 #Python
Python实现的简单发送邮件脚本分享
Nov 07 #Python
Python获取Linux系统下的本机IP地址代码分享
Nov 07 #Python
零基础写python爬虫之使用Scrapy框架编写爬虫
Nov 07 #Python
You might like
非常实用的php弹出错误警告函数扩展性强
2014/01/17 PHP
PHP查询快递信息的方法
2015/03/07 PHP
php删除一个路径下的所有文件夹和文件的方法
2018/02/07 PHP
PHP children()函数讲解
2019/02/03 PHP
jQuery探测位置的提示弹窗(toolTip box)详细解析
2013/11/14 Javascript
js实现鼠标经过时图片滚动停止的方法
2015/02/16 Javascript
关于安卓手机微信浏览器中使用XMLHttpRequest 2上传图片显示字节数为0的解决办法
2016/05/17 Javascript
在windows上用nodejs搭建静态文件服务器的简单方法
2016/08/11 NodeJs
vue中如何实现变量和字符串拼接
2017/06/19 Javascript
你点的 ES6一些小技巧,请查收
2018/04/25 Javascript
Vue项目总结之webpack常规打包优化方案
2019/06/06 Javascript
解决vue项目刷新后,导航菜单高亮显示的位置不对问题
2019/11/01 Javascript
Python使用Mechanize模块编写爬虫的要点解析
2016/03/31 Python
简单了解OpenCV是个什么东西
2017/11/10 Python
Python爬虫实例_利用百度地图API批量获取城市所有的POI点
2018/01/10 Python
python opencv 读取本地视频文件 修改ffmpeg的方法
2019/01/26 Python
详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果
2019/05/07 Python
详解python如何引用包package
2020/06/07 Python
Python astype(np.float)函数使用方法解析
2020/06/08 Python
pycharm 配置svn的图文教程(手把手教你)
2021/01/15 Python
浅谈CSS3 box-sizing 属性 有趣的盒模型
2019/04/02 HTML / CSS
美国设计师精美珠宝购物网:Netaya
2016/08/28 全球购物
骆驼官方商城:CAMEL
2016/11/22 全球购物
TUMI新加坡官网:国际领先的商旅箱包品牌
2019/01/12 全球购物
软件设计的目标是什么
2016/12/04 面试题
学生党员思想汇报
2013/12/28 职场文书
会计的岗位职责
2014/03/15 职场文书
奥巴马竞选演讲稿
2014/05/15 职场文书
课程设计的心得体会
2014/09/03 职场文书
见习报告的格式
2014/10/31 职场文书
陕西导游词
2015/02/04 职场文书
vue项目两种方式实现竖向表格的思路分析
2021/04/28 Vue.js
MySQL中出现乱码问题的终极解决宝典
2021/05/26 MySQL
如何在Mac上通过docker配置PHP开发环境
2021/05/29 PHP
【DOTA2】高能暴走TK秀!PSG LGD vs ASTER - DPC 2022 WINTER TOUR CN
2022/04/02 DOTA
一行Python命令实现批量加水印
2022/04/07 Python