Python提取网页中超链接的方法


Posted in Python onSeptember 18, 2016

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接

代码如下:

import urllib2
import re
 
url = 'http://www.sunbloger.com/'
 
req = urllib2.Request(url)
con = urllib2.urlopen(req)
doc = con.read()
con.close()
 
links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]+)\"', doc)
for a in links:
  print a

总结

以上就是这篇文章的全部内容,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
python实现将元祖转换成数组的方法
May 04 Python
Python中的fileinput模块的简单实用示例
Jul 09 Python
Python安装使用命令行交互模块pexpect的基础教程
May 12 Python
python实现FTP服务器服务的方法
Apr 11 Python
pandas DataFrame创建方法的方式
Aug 02 Python
python各类经纬度转换的实例代码
Aug 08 Python
解析PyCharm Python运行权限问题
Jan 08 Python
Windows+Anaconda3+PyTorch+PyCharm的安装教程图文详解
Apr 03 Python
python中函数返回多个结果的实例方法
Dec 16 Python
python 使用xlsxwriter循环向excel中插入数据和图片的操作
Jan 01 Python
详解Python爬虫爬取博客园问题列表所有的问题
Jan 18 Python
Python 中数组和数字相乘时的注意事项说明
May 10 Python
python解决Fedora解压zip时中文乱码的方法
Sep 18 #Python
Python自动化运维和部署项目工具Fabric使用实例
Sep 18 #Python
基于Python 的进程管理工具supervisor使用指南
Sep 18 #Python
打包发布Python模块的方法详解
Sep 18 #Python
在python的类中动态添加属性与生成对象
Sep 17 #Python
Python中字符串的处理技巧分享
Sep 17 #Python
Python中对象迭代与反迭代的技巧总结
Sep 17 #Python
You might like
一个程序下载的管理程序(三)
2006/10/09 PHP
Web程序工作原理详解
2014/12/25 PHP
微信支付PHP SDK之微信公众号支付代码详解
2015/12/09 PHP
php实现登录tplink WR882N获取IP和重启的方法
2016/07/20 PHP
php 实现Hash表功能实例详解
2016/11/29 PHP
PHP中include和require的区别实例分析
2017/05/07 PHP
PHP实现打包zip并下载功能
2018/06/12 PHP
jQuery数据显示插件整合实现代码
2011/10/24 Javascript
jQuery解决下拉框select设宽度时IE 6/7/8下option超出显示不全
2013/05/27 Javascript
Js中获取frames中的元素示例代码
2013/07/30 Javascript
基于JS实现Android,iOS一个手势动画效果
2016/04/27 Javascript
全面了解JavaScirpt 的垃圾(garbage collection)回收机制
2016/07/11 Javascript
js实现随机抽选效果、随机抽选红色球效果
2017/01/13 Javascript
iOS + node.js使用Socket.IO框架进行实时通信示例
2017/04/14 Javascript
Angular.Js之Scope作用域的学习教程
2017/04/27 Javascript
javascript代码优化的8点总结
2018/01/29 Javascript
解决Vue 通过下表修改数组,页面不渲染的问题
2018/03/08 Javascript
详解VUE里子组件如何获取父组件动态变化的值
2018/12/26 Javascript
BootstrapValidator实现表单验证功能
2019/11/08 Javascript
python动态加载包的方法小结
2016/04/18 Python
在Mac上删除自己安装的Python方法
2018/10/29 Python
pandas DataFrame索引行列的实现
2019/06/04 Python
Python 3 判断2个字典相同
2019/08/06 Python
Python使用Pygame绘制时钟
2020/11/29 Python
10个python爬虫入门基础代码实例 + 1个简单的python爬虫完整实例
2020/12/16 Python
英国蛋糕装饰用品一站式商店:Craft Company
2019/03/18 全球购物
迪卡侬波兰体育用品商店:Decathlon波兰
2020/03/31 全球购物
我的大学生活职业生涯规划
2014/01/02 职场文书
业绩考核岗位职责
2014/02/01 职场文书
班委竞选演讲稿
2014/04/28 职场文书
岗位说明书范文
2014/05/07 职场文书
生日庆典策划方案
2014/06/02 职场文书
医学专业自荐信
2014/06/14 职场文书
教师个人年度总结
2015/02/11 职场文书
员工离职通知函
2015/04/25 职场文书
2019已经过半,你知道年中工作总结该怎么写吗?
2019/07/03 职场文书