Python3爬虫学习之爬虫利器Beautiful Soup用法分析


Posted in Python onDecember 12, 2018

本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考,具体如下:

爬虫利器Beautiful Soup

前面一篇说到通过urllib.request模块可以将网页当作本地文件来读取,那么获得网页的html代码后,自然就是要将我们所需要的部分从杂乱的html代码中分离出来。既然要做数据的查找和提取,当然我们首先想到的应该是正则表达式的方式,而正则表达式书写的复杂我想大家都有体会,而且Python中的正则表达式和其他语言中的并没有太大区别,也就不赘述了,所以现在介绍Python中一种比较友好且易用的数据提取方式——Beautiful Soup

照例,先上官方文档
还有贴心的中文版

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.

文档中的例子其实说的已经比较清楚了,那下面就以爬取简书首页文章的标题一段代码来演示一下:

先来看简书首页的源代码:

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

可以发现简书首页文章的标题都是在<a/>标签中,并且class='title',所以,通过

find_all('a', 'title')

便可获得所有的文章标题,具体实现代码及结果如下:

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
url = r'http://www.jianshu.com'
# 模拟真实浏览器进行访问
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read()
page_info = page_info.decode('utf-8')
# 将获取到的内容转换成BeautifulSoup格式,并将html.parser作为解析器
soup = BeautifulSoup(page_info, 'html.parser') 
# 以格式化的形式打印html
# print(soup.prettify())
titles = soup.find_all('a', 'title') # 查找所有a标签中class='title'的语句
# 打印查找到的每一个a标签的string
for title in titles:
 print(title.string)

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

PS:关于解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,下表列出了主要的解析器,以及它们的优缺点:

解析器 使用方法 优势 劣势
Python标准库 BeautifulSoup(markup, "html.parser") (1)Python的内置标准库 (2)执行速度适中 (3)文档容错能力强 Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器 BeautifulSoup(markup, "lxml") (1)速度快 (2)文档容错能力强 需要安装C语言库
lxml XML 解析器 BeautifulSoup(markup, ["lxml", "xml"]) OR BeautifulSoup(markup, "xml") (1)速度快 (2)唯一支持XML的解析器 需要安装C语言库
html5lib BeautifulSoup(markup, "html5lib") (1)最好的容错性 (2)以浏览器的方式解析文档 (3)生成HTML5格式的文档 (1)速度慢 (2)不依赖外部扩展

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python脚本实现格式化css文件
Apr 08 Python
Windows上配置Emacs来开发Python及用Python扩展Emacs
Nov 20 Python
浅谈Python peewee 使用经验
Oct 20 Python
django开发教程之利用缓存文件进行页面缓存的方法
Nov 10 Python
Python自定义简单图轴简单实例
Jan 08 Python
python利用wx实现界面按钮和按钮监听和字体改变的方法
Jul 17 Python
python实现复制文件到指定目录
Oct 16 Python
Numpy一维线性插值函数的用法
Apr 22 Python
Python实现CAN报文转换工具教程
May 05 Python
Keras之自定义损失(loss)函数用法说明
Jun 10 Python
python安装cx_Oracle和wxPython的方法
Sep 14 Python
python 标准库原理与用法详解之os.path篇
Oct 24 Python
Python解决线性代数问题之矩阵的初等变换方法
Dec 12 #Python
对python数据切割归并算法的实例讲解
Dec 12 #Python
python实现文本界面网络聊天室
Dec 12 #Python
Python3爬虫学习之应对网站反爬虫机制的方法分析
Dec 12 #Python
python实现简单多人聊天室
Dec 11 #Python
在python中利用KNN实现对iris进行分类的方法
Dec 11 #Python
python 划分数据集为训练集和测试集的方法
Dec 11 #Python
You might like
header导出Excel应用示例
2014/01/24 PHP
PHP获取文件夹内文件数的方法
2015/03/12 PHP
Yii 框架使用数据库(databases)的方法示例
2020/05/19 PHP
兼容多浏览器的字幕特效Marquee的通用js类
2008/07/20 Javascript
Ext javascript建立超链接,进行事件处理的实现方法
2009/03/22 Javascript
改进UCHOME的记录发布,增强可访问性用户体验
2011/01/17 Javascript
JavaScript中把数字转换为字符串的程序代码
2013/06/19 Javascript
jquery使用jxl插件导出excel示例
2014/04/14 Javascript
实例讲解Jquery中隐藏hide、显示show、切换toggle的用法
2016/05/13 Javascript
JavaScript知识点总结(六)之JavaScript判断变量数据类型
2016/05/31 Javascript
vue一步步实现alert功能
2017/07/05 Javascript
js实现登录注册框手机号和验证码校验(前端部分)
2017/09/28 Javascript
Hexo已经看腻了,来手把手教你使用VuePress搭建个人博客
2018/04/26 Javascript
使用vue-router切换页面时,获取上一页url以及当前页面url的方法
2019/05/06 Javascript
微信小程序个人中心的列表控件实现代码
2020/04/26 Javascript
vue 全局封装loading加载教程(全局监听)
2020/11/05 Javascript
Python实现识别手写数字大纲
2018/01/29 Python
Python实现查看系统启动项功能示例
2018/05/10 Python
对python中if语句的真假判断实例详解
2019/02/18 Python
Python面向对象之继承和多态用法分析
2019/06/08 Python
django drf框架中的user验证以及JWT拓展的介绍
2019/08/12 Python
Python中注释(多行注释和单行注释)的用法实例
2019/08/28 Python
Python获取android设备cpu和内存占用情况
2020/11/15 Python
如何在scrapy中集成selenium爬取网页的方法
2020/11/18 Python
使用CSS3美化HTML表单的技巧演示
2016/05/17 HTML / CSS
html5 canvas实现跟随鼠标旋转的箭头
2016/03/11 HTML / CSS
HTML5 Web存储方式的localStorage和sessionStorage进行数据本地存储案例应用
2012/12/09 HTML / CSS
希尔顿酒店中国网站:Hilton中国
2017/03/11 全球购物
HOTEL INFO英国:搜索全球酒店
2019/08/08 全球购物
英国和国际包裹递送:ParcelCompare
2019/08/26 全球购物
Oral-B荷兰:牙医最推荐的品牌
2020/02/25 全球购物
国旗下演讲稿
2014/05/08 职场文书
法制宣传教育方案
2014/05/09 职场文书
2014院党委领导班子对照检查材料思想汇报
2014/09/24 职场文书
幼儿园开学家长寄语(2016春季)
2015/12/03 职场文书
浅谈Node的内存泄露问题
2022/05/06 NodeJs