python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
使用Python的Flask框架表单插件Flask-WTF实现Web登录验证
Jul 12 Python
理解python中生成器用法
Dec 20 Python
Python 装饰器实现DRY(不重复代码)原则
Mar 05 Python
python操作mysql代码总结
Jun 01 Python
Python实现重建二叉树的三种方法详解
Jun 23 Python
Python 调用 Windows API COM 新法
Aug 22 Python
Python 爬虫实现增加播客访问量的方法实现
Oct 31 Python
python列表生成器迭代器实例解析
Dec 19 Python
Python编译成.so文件进行加密后调用的实现
Dec 23 Python
python实现随机加减法生成器
Feb 24 Python
Python基于wordcloud及jieba实现中国地图词云图
Jun 09 Python
python如何实现word批量转HTML
Sep 30 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
phpfans留言版用到的install.php
2007/01/04 PHP
使用GD库生成带阴影文字的图片
2015/03/27 PHP
PHP7实现和CryptoJS的AES加密方式互通示例【AES-128-ECB加密】
2019/06/08 PHP
jquery.ui.progressbar 中文文档
2009/11/26 Javascript
使用JavaScript的ActiveXObject对象检测应用程序是否安装的方法
2014/04/15 Javascript
使用jQuery的attr方法来修改onclick值
2014/07/07 Javascript
Javascript中的关键字和保留字整理
2014/10/16 Javascript
JavaScript tab选项卡插件实例代码
2016/02/23 Javascript
省市联动效果的简单实现代码(推荐)
2016/06/06 Javascript
Vue.js中用v-bind绑定class的注意事项
2016/12/13 Javascript
JavaScript实现弹出广告功能
2017/03/30 Javascript
vuejs使用FormData实现ajax上传图片文件
2017/08/08 Javascript
详解bootstrap导航栏.nav与.navbar区别
2017/11/23 Javascript
javascript按顺序加载运行js方法
2017/12/01 Javascript
jquery如何实现点击空白处隐藏元素
2017/12/05 jQuery
Node中使用ES6语法的基础教程
2018/01/05 Javascript
nodejs爬虫初试superagent和cheerio
2018/03/05 NodeJs
mac上配置Android环境变量的方法
2018/07/08 Javascript
微信小程序scroll-view仿拼多多横向滑动滚动条
2020/04/21 Javascript
node 解析图片二维码的内容代码实例
2019/09/11 Javascript
ZK中使用JS读取客户端txt文件内容问题
2019/11/07 Javascript
详解在Python的Django框架中创建模板库的方法
2015/07/20 Python
Python中的id()函数指的什么
2017/10/17 Python
python用户管理系统的实例讲解
2017/12/23 Python
python 输出所有大小写字母的方法
2019/01/02 Python
python3.6数独问题的解决
2019/01/21 Python
浅谈PyQt5 的帮助文档查找方法,可以查看每个类的方法
2019/06/25 Python
Python将视频或者动态图gif逐帧保存为图片的方法
2019/09/10 Python
树莓派4B+opencv4+python 打开摄像头的实现方法
2019/10/18 Python
python+mysql实现个人论文管理系统
2019/10/25 Python
python 五子棋如何获得鼠标点击坐标
2019/11/04 Python
使用python检查yaml配置文件是否符合要求
2020/04/09 Python
毕业生求职信的经典写法
2014/01/31 职场文书
2015年林业工作总结
2015/05/14 职场文书
python基础之模块的导入
2021/10/24 Python
Mysql使用全文索引(FullText index)的实例代码
2022/04/03 MySQL