一则python3的简单爬虫代码


Posted in Python onMay 26, 2014

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登录地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data) 
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登录 
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strResult=(res.read().decode('utf-8'))
#用正则表达式取出所有A标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。

Python 相关文章推荐
python对json的相关操作实例详解
Jan 04 Python
python自动发邮件库yagmail的示例代码
Feb 23 Python
TensorFlow的权值更新方法
Jun 14 Python
Python实现Linux监控的方法
May 16 Python
Django处理Ajax发送的Get请求代码详解
Jul 29 Python
Pytorch中accuracy和loss的计算知识点总结
Sep 10 Python
python中的函数递归和迭代原理解析
Nov 14 Python
python 多进程队列数据处理详解
Dec 23 Python
Python实现栈的方法详解【基于数组和单链表两种方法】
Feb 22 Python
python 在右键菜单中加入复制目标文件的有效存放路径(单斜杠或者双反斜杠)
Apr 08 Python
Keras自定义实现带masking的meanpooling层方式
Jun 16 Python
Python turtle编写简单的球类小游戏
Mar 31 Python
从零学Python之入门(三)序列
May 25 #Python
从零学Python之入门(二)基本数据类型
May 25 #Python
Python tempfile模块学习笔记(临时文件)
May 25 #Python
Python logging模块学习笔记
May 24 #Python
Python学习笔记之常用函数及说明
May 23 #Python
从零学python系列之教你如何根据图片生成字符画
May 23 #Python
从零学python系列之从文件读取和保存数据
May 23 #Python
You might like
源码分析 Laravel 重复执行同一个队列任务的原因
2017/12/25 PHP
PHP7数组的底层实现示例
2019/08/25 PHP
为EasyUI的Tab标签添加右键菜单的方法
2012/07/14 Javascript
jQuery实现购物车多物品数量的加减+总价计算
2014/06/06 Javascript
JS在IE下缺少标识符的错误
2014/07/23 Javascript
jQuery获取页面及个元素高度、宽度的总结——超实用
2015/07/28 Javascript
javascript生成img标签的3种实现方法(对象、方法、html)
2015/12/25 Javascript
Vue.js之slot深度复制详解
2017/03/10 Javascript
ES6中的箭头函数实例详解
2017/04/06 Javascript
JS正则表达式验证中文字符
2017/05/08 Javascript
关于javascript作用域的常见面试题分享
2017/06/18 Javascript
ui-router中使用ocLazyLoad和resolve的具体方法
2017/10/18 Javascript
ES6基础之数组和对象的拓展实例详解
2019/08/22 Javascript
详解Angular Karma测试的持续集成实践
2019/11/15 Javascript
[01:22:42]2014 DOTA2华西杯精英邀请赛 5 24 DK VS LGD
2014/05/26 DOTA
解析Mac OS下部署Pyhton的Django框架项目的过程
2016/05/03 Python
Python实现string字符串连接的方法总结【8种方式】
2018/07/06 Python
Python内存读写操作示例
2018/07/18 Python
基于pycharm导入模块显示不存在的解决方法
2018/10/13 Python
Pycharm2017版本设置启动时默认自动打开项目的方法
2018/10/29 Python
Python实现EXCEL表格的排序功能示例
2019/06/25 Python
Python环境下安装PyGame和PyOpenGL的方法
2020/03/25 Python
python学生管理系统的实现
2020/04/05 Python
python将unicode和str互相转化的实现
2020/05/11 Python
Django自关联实现多级联动查询实例
2020/05/19 Python
浅谈python出错时traceback的解读
2020/07/15 Python
使用Python画了一棵圣诞树的实例代码
2020/11/27 Python
html5实现九宫格抽奖可固定抽中某项奖品
2020/06/15 HTML / CSS
德国高性价比网上药店:medpex
2017/07/09 全球购物
Otticanet英国:最顶尖的世界名牌眼镜, 能得到打折季的价格
2019/02/10 全球购物
高中自我鉴定
2013/12/20 职场文书
军训感想500字
2014/02/20 职场文书
园林设计专业毕业生求职信
2014/03/23 职场文书
司法局群众路线教育实践活动整改措施思想汇报
2014/10/13 职场文书
优秀范文:《但愿人长久》教学反思3篇
2019/10/24 职场文书
Windows环境下实现批量执行Sql文件
2021/10/05 SQL Server