python采用requests库模拟登录和抓取数据的简单示例


Posted in Python onJuly 05, 2014

如果你还在为python的各种urllib和urlibs,cookielib 头疼,或者还还在为python模拟登录和抓取数据而抓狂,那么来看看我们推荐的requests,python采集数据模拟登录必备利器!

这也是python推荐的HTTP客户端库:

本文就以一个模拟登录的例子来加以说明,至于采集大家就请自行发挥吧。

代码很简单,主要是展现python的requests库的简单至极,代码如下:

s = requests.session()
data = {'user':'用户名','passdw':'密码'}
#post 换成登录的地址,
res=s.post('http://www.xxx.net/index.php?action=login',data);
#换成抓取的地址
s.get('http://www.xxx.net/archives/155/');

看!仅仅4行代码,即可模拟登录。

Python 相关文章推荐
详解Python字符串对象的实现
Dec 24 Python
python中yaml配置文件模块的使用详解
Apr 27 Python
对Python捕获控制台输出流的方法详解
Jan 07 Python
深入浅析python 协程与go协程的区别
May 09 Python
scikit-learn线性回归,多元回归,多项式回归的实现
Aug 29 Python
python区分不同数据类型的方法
Oct 14 Python
python实现通过队列完成进程间的多任务功能示例
Oct 28 Python
python encrypt 实现AES加密的实例详解
Feb 20 Python
Python切割图片成九宫格的示例代码
Mar 10 Python
python 瀑布线指标编写实例
Jun 03 Python
python正则表达式re.match()匹配多个字符方法的实现
Jan 27 Python
Python语言规范之Pylint的详细用法
Jun 24 Python
浅析python 中__name__ = '__main__' 的作用
Jul 05 #Python
python在windows下实现备份程序实例
Jul 04 #Python
python调用短信猫控件实现发短信功能实例
Jul 04 #Python
Python实现类继承实例
Jul 04 #Python
Django集成百度富文本编辑器uEditor攻略
Jul 04 #Python
一个小示例告诉你Python语言的优雅之处
Jul 04 #Python
教你如何将 Sublime 3 打造成 Python/Django IDE开发利器
Jul 04 #Python
You might like
php URL编码解码函数代码
2009/03/10 PHP
thinkphp3.2中Lite文件替换框架入口文件或应用入口文件的方法
2015/05/21 PHP
PHP中使用substr()截取字符串出现中文乱码问题该怎么办
2015/10/21 PHP
laravel 解决paginate查询多个字段报错的问题
2019/10/22 PHP
arguments对象
2006/11/20 Javascript
js获取url参数的使用扩展实例
2007/12/29 Javascript
JavaScript constructor和instanceof,JSOO中的一对欢喜冤家
2009/05/25 Javascript
Jquery 滑入滑出效果实现代码
2010/03/27 Javascript
javascript 三种方法实现获得和设置以及移除元素属性
2013/03/20 Javascript
angular1配合gulp和bower的使用教程
2018/01/19 Javascript
vue动态添加路由addRoutes之不能将动态路由存入缓存的解决
2019/02/19 Javascript
使用Vue.set()方法实现响应式修改数组数据步骤
2019/11/09 Javascript
[02:43]中国五虎出征TI3视频
2013/08/02 DOTA
[52:40]完美世界DOTA2联赛PWL S2 Magma vs GXR 第一场 11.29
2020/12/02 DOTA
pycharm 使用心得(五)断点调试
2014/06/06 Python
Python面向对象编程中的类和对象学习教程
2015/03/30 Python
python基础教程之匿名函数lambda
2017/01/17 Python
Python算法应用实战之队列详解
2017/02/04 Python
python中实现字符串翻转的方法
2018/07/11 Python
Python中__slots__属性介绍与基本使用方法
2018/09/05 Python
Python 通过微信控制实现app定位发送到个人服务器再转发微信服务器接收位置信息
2019/08/05 Python
Django 博客实现简单的全文搜索的示例代码
2020/02/17 Python
Pytorch 解决自定义子Module .cuda() tensor失败的问题
2020/06/23 Python
Keras模型转成tensorflow的.pb操作
2020/07/06 Python
aec加密 php_php aes加密解密类(兼容php5、php7)
2021/03/14 PHP
女子锻炼服装和瑜伽服装:Splits59
2019/03/04 全球购物
演讲稿开场白
2014/01/13 职场文书
婚前协议书
2014/04/15 职场文书
团结友爱主题班会
2015/08/13 职场文书
Mysql 如何批量插入数据
2021/04/06 MySQL
利用Python+OpenCV三步去除水印
2021/05/28 Python
Python 中的Sympy详细使用
2021/08/07 Python
使用redis生成唯一编号及原理示例详解
2021/09/15 Redis
Python多线程实用方法以及共享变量资源竞争问题
2022/04/12 Python
vue二维数组循环嵌套方式 循环数组、循环嵌套数组
2022/04/24 Vue.js
MutationObserver在页面水印实现起到的作用详解
2022/07/07 Javascript