python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python检测是文件还是目录的方法
Jul 03 Python
Python 将RGB图像转换为Pytho灰度图像的实例
Nov 14 Python
Anaconda 离线安装 python 包的操作方法
Jun 11 Python
python: 自动安装缺失库文件的方法
Oct 22 Python
Python解析、提取url关键字的实例详解
Dec 17 Python
使用Rasterio读取栅格数据的实例讲解
Nov 26 Python
浅谈OpenCV中的新函数connectedComponentsWithStats用法
Jul 05 Python
Cpython解释器中的GIL全局解释器锁
Nov 09 Python
详解Python中@staticmethod和@classmethod区别及使用示例代码
Dec 14 Python
Pytorch 使用tensor特定条件判断索引
Apr 08 Python
Python中Cookies导出某站用户数据的方法
May 17 Python
python3中apply函数和lambda函数的使用详解
Feb 28 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
实现 win2003 下 mysql 数据库每天自动备份
2006/12/06 PHP
采集邮箱的php代码(抓取网页中的邮箱地址)
2012/07/17 PHP
PHP static局部静态变量和全局静态变量总结
2014/03/02 PHP
php使用array_rand()函数从数组中随机选择一个或多个元素
2014/04/28 PHP
Laravel实现短信注册的示例代码
2018/05/29 PHP
Centos7 Yum安装PHP7.2流程教程详解
2019/07/02 PHP
PhpStorm的使用教程(本地运行PHP+远程开发+快捷键)
2020/03/26 PHP
jQuery UI AutoComplete 使用说明
2011/06/20 Javascript
在Firefox下js select标签点击无法弹出
2014/03/06 Javascript
node.js开发中使用Node Supervisor实现监测文件修改并自动重启应用
2014/11/04 Javascript
分享20个提升网站界面体验的jQuery插件
2014/12/15 Javascript
JS实现slide文字框缩放伸展效果代码
2015/11/05 Javascript
理解Koa2中的async&await的用法
2018/02/05 Javascript
vue中使用mxgraph的方法实例代码详解
2019/05/17 Javascript
简单了解Javscript中兄弟ifream的方法调用
2019/06/17 Javascript
ElementUI中el-tree节点的操作的实现
2020/02/27 Javascript
Python中的深拷贝和浅拷贝详解
2015/06/03 Python
Python中datetime常用时间处理方法
2015/06/15 Python
python利用ffmpeg进行录制屏幕的方法
2019/01/10 Python
Python实现定时自动关闭的tkinter窗口方法
2019/02/16 Python
Python同步遍历多个列表的示例
2019/02/19 Python
Django 对IP访问频率进行限制的例子
2019/08/30 Python
Python openpyxl读取单元格字体颜色过程解析
2019/09/03 Python
Django+boostrap 美化admin后台的操作
2020/03/11 Python
利于python脚本编写可视化nmap和masscan的方法
2020/12/29 Python
pandas统计重复值次数的方法实现
2021/02/20 Python
CSS3实现多背景展示效果通过CSS3定位多张背景
2014/08/10 HTML / CSS
美国第二大团购网站:LivingSocial
2016/07/24 全球购物
MyHeritage美国:家族史研究和DNA测试的领先服务
2019/05/27 全球购物
加拿大著名的奢侈品购物网站:SSENSE(支持中文)
2020/06/25 全球购物
店长岗位的工作内容
2013/11/12 职场文书
学期自我评价
2014/01/27 职场文书
2015公务员试用期工作总结
2014/12/12 职场文书
2015年暑期见闻
2015/07/14 职场文书
react中props 的使用及进行限制的方法
2021/04/28 Javascript
python opencv通过4坐标剪裁图片
2021/06/05 Python