Python3爬虫学习之爬虫利器Beautiful Soup用法分析


Posted in Python onDecember 12, 2018

本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考,具体如下:

爬虫利器Beautiful Soup

前面一篇说到通过urllib.request模块可以将网页当作本地文件来读取,那么获得网页的html代码后,自然就是要将我们所需要的部分从杂乱的html代码中分离出来。既然要做数据的查找和提取,当然我们首先想到的应该是正则表达式的方式,而正则表达式书写的复杂我想大家都有体会,而且Python中的正则表达式和其他语言中的并没有太大区别,也就不赘述了,所以现在介绍Python中一种比较友好且易用的数据提取方式——Beautiful Soup

照例,先上官方文档
还有贴心的中文版

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.

文档中的例子其实说的已经比较清楚了,那下面就以爬取简书首页文章的标题一段代码来演示一下:

先来看简书首页的源代码:

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

可以发现简书首页文章的标题都是在<a/>标签中,并且class='title',所以,通过

find_all('a', 'title')

便可获得所有的文章标题,具体实现代码及结果如下:

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
url = r'http://www.jianshu.com'
# 模拟真实浏览器进行访问
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read()
page_info = page_info.decode('utf-8')
# 将获取到的内容转换成BeautifulSoup格式,并将html.parser作为解析器
soup = BeautifulSoup(page_info, 'html.parser') 
# 以格式化的形式打印html
# print(soup.prettify())
titles = soup.find_all('a', 'title') # 查找所有a标签中class='title'的语句
# 打印查找到的每一个a标签的string
for title in titles:
 print(title.string)

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

PS:关于解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,下表列出了主要的解析器,以及它们的优缺点:

解析器 使用方法 优势 劣势
Python标准库 BeautifulSoup(markup, "html.parser") (1)Python的内置标准库 (2)执行速度适中 (3)文档容错能力强 Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器 BeautifulSoup(markup, "lxml") (1)速度快 (2)文档容错能力强 需要安装C语言库
lxml XML 解析器 BeautifulSoup(markup, ["lxml", "xml"]) OR BeautifulSoup(markup, "xml") (1)速度快 (2)唯一支持XML的解析器 需要安装C语言库
html5lib BeautifulSoup(markup, "html5lib") (1)最好的容错性 (2)以浏览器的方式解析文档 (3)生成HTML5格式的文档 (1)速度慢 (2)不依赖外部扩展

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python的print用法示例
Feb 11 Python
剖析Python的Twisted框架的核心特性
May 25 Python
Python字符串内置函数功能与用法总结
Apr 16 Python
Python队列RabbitMQ 使用方法实例记录
Aug 05 Python
Python  Django 母版和继承解析
Aug 09 Python
python实现静态服务器
Sep 05 Python
python sqlite的Row对象操作示例
Sep 11 Python
Python os模块常用方法和属性总结
Feb 20 Python
Python turtle库的画笔控制说明
Jun 28 Python
Python监听剪切板实现方法代码实例
Nov 11 Python
pandas按条件筛选数据的实现
Feb 20 Python
pytorch加载预训练模型与自己模型不匹配的解决方案
May 13 Python
Python解决线性代数问题之矩阵的初等变换方法
Dec 12 #Python
对python数据切割归并算法的实例讲解
Dec 12 #Python
python实现文本界面网络聊天室
Dec 12 #Python
Python3爬虫学习之应对网站反爬虫机制的方法分析
Dec 12 #Python
python实现简单多人聊天室
Dec 11 #Python
在python中利用KNN实现对iris进行分类的方法
Dec 11 #Python
python 划分数据集为训练集和测试集的方法
Dec 11 #Python
You might like
PHP Directory 函数的详解
2013/03/07 PHP
PHP使用in_array函数检查数组中是否存在某个值
2015/03/25 PHP
Yii2实现ajax上传图片插件用法
2016/04/28 PHP
thinkphp3.2框架中where条件查询用法总结
2019/08/13 PHP
js textarea自动增高并隐藏滚动条
2009/12/16 Javascript
JavaScrip实现PHP print_r的数功能(三种方法)
2013/11/12 Javascript
网页禁用右键菜单和鼠标拖动选择方法小结
2015/02/25 Javascript
JavaScript返回网页中超链接数量的方法
2015/04/03 Javascript
js中substring和substr两者区别和使用方法
2015/11/09 Javascript
JavaScript编写简单的计算器
2015/11/25 Javascript
JavaScript知识点总结(十)之this关键字
2016/05/31 Javascript
jQuery Ajax页面局部加载方法汇总
2016/06/02 Javascript
WEB前端实现裁剪上传图片功能
2016/10/17 Javascript
Angularjs的键盘事件的绑定
2017/07/27 Javascript
vue-resource + json-server模拟数据的方法
2017/11/02 Javascript
jQuery实现经典的网页3D轮播图封装功能【附源码下载】
2019/02/15 jQuery
Vue实现拖放排序功能的实例代码
2019/07/08 Javascript
python3.3实现乘法表示例
2014/02/07 Python
Python基于高斯消元法计算线性方程组示例
2018/01/17 Python
Python django搭建layui提交表单,表格,图标的实例
2019/11/18 Python
Windows下Pycharm远程连接虚拟机中Centos下的Python环境(图文教程详解)
2020/03/19 Python
CSS3实现swap交换动画
2016/01/19 HTML / CSS
英国航空官网:British Airways
2016/09/11 全球购物
法国和欧洲海边和滑雪度假:Pierre & Vacances
2017/01/04 全球购物
KIKO MILANO荷兰网上商店:意大利专业化妆品品牌
2017/05/12 全球购物
美国领先的精品家居照明和装饰产品在线零售商:LightsOnline.com
2018/01/23 全球购物
C语言编程题
2015/03/09 面试题
数据库方面面试题
2012/04/22 面试题
旅游管理毕业生自荐信
2013/11/05 职场文书
《三袋麦子》教学反思
2014/03/02 职场文书
党的群众路线教育实践活动总结报告
2014/04/28 职场文书
2014年秋季开学演讲稿
2014/05/24 职场文书
银行授权委托书格式
2014/10/10 职场文书
心灵捕手观后感
2015/06/02 职场文书
归途列车观后感
2015/06/17 职场文书
为什么你写的height:100%不起作用
2021/05/10 HTML / CSS