python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python编程-将Python程序转化为可执行程序[整理]
Apr 09 Python
举例讲解Python的Tornado框架实现数据可视化的教程
May 02 Python
基于python的Tkinter实现一个简易计算器
Dec 31 Python
Python找出9个连续的空闲端口
Feb 01 Python
特征脸(Eigenface)理论基础之PCA主成分分析法
Mar 13 Python
Python+OpenCV实现车牌字符分割和识别
Mar 31 Python
Python3日期与时间戳转换的几种方法详解
Jun 04 Python
基于python的Paxos算法实现
Jul 03 Python
Python中pymysql 模块的使用详解
Aug 12 Python
简单瞅瞅Python vars()内置函数的实现
Sep 27 Python
用opencv给图片换背景色的示例代码
Jul 08 Python
在keras中对单一输入图像进行预测并返回预测结果操作
Jul 09 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
php求正负数数组中连续元素最大值示例
2014/04/11 PHP
php自定义函数实现二维数组按指定key排序的方法
2016/09/29 PHP
php 数组元素快速去重
2017/05/05 PHP
Laravel框架实现利用监听器进行sql语句记录功能
2018/06/06 PHP
yii2 上传图片的示例代码
2018/11/02 PHP
JAVASCRIPT keycode总结
2009/02/04 Javascript
JavaScript 对象链式操作测试代码
2010/04/25 Javascript
Jquery ThickBox插件使用心得(不建议使用)
2010/09/08 Javascript
Javascript判断对象是否相等实现代码
2013/03/18 Javascript
使用JavaScript 实现各种跨域的方法
2013/05/08 Javascript
js实现图片点击左右轮播
2015/07/08 Javascript
Highcharts入门之简介
2016/08/02 Javascript
Angularjs使用directive自定义指令实现attribute继承的方法详解
2016/08/05 Javascript
利用原生js和jQuery实现单选框的勾选和取消操作的方法
2016/09/04 Javascript
Three.js获取鼠标点击的三维坐标示例代码
2017/03/24 Javascript
微信小程序 支付功能实现PHP实例详解
2017/05/12 Javascript
react中的ajax封装实例详解
2017/10/17 Javascript
微信小程序事件 bindtap bindinput代码实例
2019/08/26 Javascript
layui问题之自动滚动二级iframe页面到指定位置的方法
2019/09/18 Javascript
jQuery表单校验插件validator使用方法详解
2020/02/18 jQuery
[04:26]2014DOTA2西雅图国际邀请赛 总决赛TOPPLAY
2014/07/22 DOTA
用Python实现换行符转换的脚本的教程
2015/04/16 Python
详解Python的Django框架中的模版相关知识
2015/07/15 Python
如何在python字符串中输入纯粹的{}
2018/08/22 Python
python 实现敏感词过滤的方法
2019/01/21 Python
python多线程高级锁condition简单用法示例
2019/11/07 Python
django跳转页面传参的实现
2020/09/17 Python
CSS3 transform的skew属性值图文详解
2014/07/21 HTML / CSS
西班牙拥有最佳品牌的动物商店:Animalear.com
2018/01/05 全球购物
有abstract方法的类一定要用abstract修饰吗
2016/03/14 面试题
研发工程师岗位职责
2014/04/28 职场文书
2014年安全保卫工作总结
2014/11/13 职场文书
小班下学期个人总结
2015/02/12 职场文书
追悼会答谢词范文
2015/09/29 职场文书
Python中的min及返回最小值索引的操作
2021/05/10 Python
如何用Laravel包含你自己的帮助函数
2021/05/27 PHP