python3实现网络爬虫之BeautifulSoup使用详解


Posted in Python onDecember 19, 2018

这一次我们来了解一下美味的汤--BeautifulSoup,这将是我们以后经常使用的一个库,并且非常的好用。

BeautifuleSoup库的名字取自刘易斯·卡罗尔在《爱丽丝梦游仙境》里的同名诗歌。在故事中,这首歌是素甲鱼唱的。就像它在仙境中的说法一样,BeautifulSoup尝试化平淡为神奇。它通过定位HTML标签来格式化和组织复杂的网络信息,用简单易用的Python对象为我们展现XML结构信息。

由于BeautifulSoup库不是Python标准库,因此我们需要单独安装这个库,才能使用它。对于这个库的安装,我们这里秉着简单的原则,就直接利用pycharm这个IDLE进行库的自动下载和导入。

首先我们进入pycharm的主界面,单击file-〉settings-〉Project:untitled-〉Project Interpreter,如下图:

python3实现网络爬虫之BeautifulSoup使用详解

python3实现网络爬虫之BeautifulSoup使用详解

在上图中我们会看到一个绿色的加号,这时我们单击这个加号,会跳出如下的界面(pycharm在这个地方有时候很慢,会一直在这个界面刷新):

python3实现网络爬虫之BeautifulSoup使用详解

这时我们在搜索框中输入“bs4”,然后选择列表中的bs4,然后进行安装,如下图:

python3实现网络爬虫之BeautifulSoup使用详解

这样我们就完成了BeautifulSoup这个库的安装,下面我们就可以来使用它了。

关于这个库的官方文档解释的是很详细的,一定要看一看:点击打开链接

下面我就简单说一下这个库的一些方面。

首先呢,我们还是从一个例子开始我们的学习:

#coding:utf - 8
from urllib.request import urlopen
from bs4 import BeautifulSoup
 
html = urlopen("http://tieba.baidu.com/")
bsObj=BeautifulSoup(html,"lxml")  #将html对象转化为BeautifulSoup对象
print(bsObj.title)  #输出这个网页中的标题 
执

执行上面的程序,我们会得到的结果为:<title>百度贴吧——全球最大的中文社区</title>
首先我们来分析下bsObj=BeautifulSoup(html,"lxml")这句话对我们的html做了什么,在这句代码中,我们将html对象传入到BeautifulSoup中将它转化成BeautifulSoup对象,关于第二个参数lxml,可以到官方文档中看,解释得很详细,这里大家只要知道带上它就可以了,不需要管它。这样,我们就成功将html对象转化为了BeautifulSoup对象。
下面我们来了解下BeautifulSoup对象的结构,当我们将html转化后得到的结构为:
html-><html><head>....</head><body>.....</body></html>
---head-><head><title>百度贴吧--全球最大的中文社区<title></head>

          ---title-><title>百度贴吧--全球最大的中文社区</title>

     ----body->.........

关于这个页面的结构我中间省略了一些无关紧要的元素,只是为了展示下这种层次化的结构。

从上面我们可以看出,BeautifulSoup将html对象进行了层次化处理了,对它的原网页的标签进行了逐层的处理和细化,以便于我们之后使用。也就是我们只要知道,任何HTML(或XML)文件的任意节点信息都可以被提取出来,只要目标信息的旁边或者附近有标记就行了,这个标记就是我们网页中使用到的各种div、li之类的标签元素,也可以是class、id之类的属性,通过这些我们都可以对需要的信息进行提取。

对于刚刚的bsObj.title这个提取标题的操作,由于一个网页中只有一个title,所以我们可以直接获取到它,因为它是唯一的嘛,大家可以这样理解,在一个学校中,你的学号是唯一的,我可以通过直接查找学号进而唯一的搜索你,而不会产生歧义。

对于bsObj.title我们有多重替代方案:

  • bsObj.html.head.title
  • bsObj.html.title
  • bsObj.head.title

关于上面的代码大家是对网页中元素的细化搜索,可以这样理解啊,假定你已经知道一个人是计科院的了,那你搜索他的时候常规思路便是直接在计科院找他,而bsObj.head中的head就相当于计科院,它是网页中的头部,title就放在这里面,所以我们使用bsObj.head.title也可以实现这个效果,其它的代码可以类似分析。

BeautifulSoup是一个对象,所以我们可以通过运算符“.”对它的属性进行提取。

如bsObj.title获取html的标题对象,bsObj.title.name获取标题的名字。。。

这里就先简单介绍这些,后面 我们将继续深入说明BeautifulSoup的好的使用方法。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python迭代用法实例教程
Sep 08 Python
python避免死锁方法实例分析
Jun 04 Python
python解决方案:WindowsError: [Error 2]
Aug 28 Python
深入理解python中函数传递参数是值传递还是引用传递
Nov 07 Python
python 动态加载的实现方法
Dec 22 Python
python回调函数中使用多线程的方法
Dec 25 Python
python实现大转盘抽奖效果
Jan 22 Python
如何使用Python实现斐波那契数列
Jul 02 Python
keras 获取某层输出 获取复用层的多次输出实例
May 23 Python
使用python脚本自动生成K8S-YAML的方法示例
Jul 12 Python
如何用python写个模板引擎
Jan 14 Python
在Python中如何使用yield
Jun 07 Python
python爬虫超时的处理的实例
Dec 19 #Python
pycharm中使用anaconda部署python环境的方法步骤
Dec 19 #Python
Django框架模板注入操作示例【变量传递到模板】
Dec 19 #Python
python json.loads兼容单引号数据的方法
Dec 19 #Python
Python查找文件中包含中文的行方法
Dec 19 #Python
对python requests发送json格式数据的实例详解
Dec 19 #Python
解决Python下json.loads()中文字符出错的问题
Dec 19 #Python
You might like
php实现rc4加密算法代码
2012/04/25 PHP
Yii结合CKEditor实现图片上传功能
2014/06/13 PHP
PHP调用Linux命令权限不足问题解决方法
2015/02/07 PHP
PHP curl模拟登录带验证码的网站
2015/11/30 PHP
PHP编程实现计算抽奖概率算法完整实例
2017/08/09 PHP
JavaScript的eval JSON object问题
2009/11/15 Javascript
在IE和VB中支持png图片透明效果的实现方法(vb源码打包)
2011/04/01 Javascript
jQuery学习笔记之jQuery.extend(),jQuery.fn.extend()分析
2014/06/09 Javascript
常用的Javascript数据验证插件
2015/08/04 Javascript
JS获取数组最大值、最小值及长度的方法
2015/11/24 Javascript
使用jQuery的toggle()方法对HTML标签进行显示、隐藏的方法(示例)
2016/09/01 Javascript
jQuery dataTables与jQuery UI 对话框dialog的使用教程
2016/09/02 Javascript
jQuery复制节点用法示例(clone方法)
2016/09/08 Javascript
Nodejs下DNS缓存问题浅析
2016/11/16 NodeJs
jsp 自动编译机制详细介绍
2016/12/01 Javascript
详解微信小程序之scroll-view的flex布局问题
2019/01/16 Javascript
vue中用 async/await 来处理异步操作
2020/07/18 Javascript
[01:25]2015国际邀请赛最佳短片奖——斧王《拆塔英雄:天赋异禀》
2015/09/22 DOTA
关于PyTorch 自动求导机制详解
2019/08/18 Python
pandas中的数据去重处理的实现方法
2020/02/10 Python
matlab中imadjust函数的作用及应用举例
2020/02/27 Python
Python bisect模块原理及常见实例
2020/06/17 Python
Python操作word文档插入图片和表格的实例演示
2020/10/25 Python
Django自带的用户验证系统实现
2020/12/18 Python
西班牙英格列斯百货英国官网:El Corte Inglés英国
2017/10/30 全球购物
AJAX的全称是什么
2012/11/06 面试题
车辆安全检查制度
2014/01/12 职场文书
出国签证在职证明
2014/01/16 职场文书
中秋节主持词
2014/04/02 职场文书
学校政风行风整改方案
2014/10/25 职场文书
大学生自荐材料范文
2014/12/30 职场文书
小学新教师个人总结
2015/02/05 职场文书
2016年中学植树节活动总结
2016/03/16 职场文书
2016最新离婚协议书范本及程序
2016/03/18 职场文书
PL350与SW11的比较
2021/04/22 无线电
django如何自定义manage.py管理命令
2021/04/27 Python