python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python处理中文编码和判断编码示例
Feb 26 Python
Python实现Tab自动补全和历史命令管理的方法
Mar 12 Python
Python实用日期时间处理方法汇总
May 09 Python
老生常谈Python基础之字符编码
Jun 14 Python
Python使用微信SDK实现的微信支付功能示例
Jun 30 Python
详解Python中for循环是如何工作的
Jun 30 Python
pandas表连接 索引上的合并方法
Jun 08 Python
利用Pyhton中的requests包进行网页访问测试的方法
Dec 26 Python
深入浅析python 协程与go协程的区别
May 09 Python
Python基础之列表常见操作经典实例详解
Feb 26 Python
关于python的缩进规则的知识点详解
Jun 22 Python
Python3.10的一些新特性原理分析
Sep 15 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
乱谈我对耳机、音箱的感受
2021/03/02 无线电
PHP生成短网址的3种方法代码实例
2014/07/08 PHP
PHP封装的Twitter访问类实例
2015/07/18 PHP
Yii中CArrayDataProvider和CActiveDataProvider区别实例分析
2016/03/02 PHP
PHP中的密码加密的解决方案总结
2016/10/26 PHP
PHP中用Trait封装单例模式的实现
2019/12/18 PHP
js控制框架刷新
2008/08/01 Javascript
Mootools 1.2教程 Fx.Tween的使用
2009/09/15 Javascript
为JavaScript类型增加方法的实现代码(增加功能)
2011/12/29 Javascript
JavaScript数据类型判定的总结笔记
2015/07/31 Javascript
nodejs初步体验篇
2015/11/23 NodeJs
用nodejs的实现原理和搭建服务器(动态)
2016/08/10 NodeJs
jQuery旋转插件jqueryrotate用法详解
2016/10/13 Javascript
jQuery Checkbox 全选 反选的简单实例
2016/11/29 Javascript
js实现一个简单的MVVM框架示例
2018/01/15 Javascript
VUE脚手架具体使用方法
2019/05/20 Javascript
原生js+css实现tab切换功能
2020/09/17 Javascript
[01:14]3.19DOTA2发布会 三代刀塔人第二代
2014/03/25 DOTA
[49:27]2018DOTA2亚洲邀请赛 4.4 淘汰赛 TNC vs VG 第一场
2018/04/05 DOTA
Python中使用pprint函数进行格式化输出的教程
2015/04/07 Python
tensorflow实现KNN识别MNIST
2018/03/12 Python
Python查找两个有序列表中位数的方法【基于归并算法】
2018/04/20 Python
mac下如何将python2.7改为python3
2018/07/13 Python
selenium设置proxy、headers的方法(phantomjs、Chrome、Firefox)
2018/11/29 Python
python快排算法详解
2019/03/04 Python
Python命令行参数解析工具 docopt 安装和应用过程详解
2019/09/26 Python
Python下应用opencv 实现人脸检测功能
2019/10/24 Python
python数据库操作mysql:pymysql、sqlalchemy常见用法详解
2020/03/30 Python
使用PyCharm官方中文语言包汉化PyCharm
2020/11/18 Python
详解numpy1.19.4与python3.9版本冲突解决
2020/12/15 Python
卫校毕业生自我鉴定
2013/10/31 职场文书
大学四年规划书范文
2013/12/27 职场文书
司机职责范本
2014/03/08 职场文书
2014大学班主任工作总结
2014/11/08 职场文书
《静夜思》教学反思
2016/02/17 职场文书
2016年度师德标兵先进事迹材料
2016/02/26 职场文书