Python爬虫新手入门之初学lxml库


Posted in Python onDecember 20, 2020

1.爬虫是什么

所谓爬虫,就是按照一定的规则,自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网,我们的爬虫就是上面的一个蜘蛛,不断的去抓取我们需要的信息。

2.爬虫三要素

  • 抓取
  • 分析
  • 存储

3.爬虫的过程分析

当人类去访问一个网页时,是如何进行的?

①打开浏览器,输入要访问的网址,发起请求。

②等待服务器返回数据,通过浏览器加载网页。

③从网页中找到自己需要的数据(文本、图片、文件等等)。

④保存自己需要的数据。

对于爬虫,也是类似的。它模仿人类请求网页的过程,但是又稍有不同。

首先,对应于上面的①和②步骤,我们要利用python实现请求一个网页的功能。

其次,对应于上面的③步骤,我们要利用python实现解析请求到的网页的功能。

最后,对于上面的④步骤,我们要利用python实现保存数据的功能。

因为是讲一个简单的爬虫嘛,所以一些其他的复杂操作这里就不说了。下面,针对上面几个功能,逐一进行分析。

4.如何用python请求一个网页

作为一门拥有丰富类库的编程语言,利用python请求网页完全不在话下。这里推荐一个非常好用的类库urllib.request。

4.1.抓取网页

urllib库使用

import urllib.request
 
response = urllib.request.urlopen('https://laoniu.blog.csdn.net/')
print(response.read().decode('utf-8'))

这样就可以抓取csdn我的主页的html文档

我们使用爬虫就是需要在网页中提取我们需要的数据,接下来我们来学习抓取一下百度搜索页的热榜数据

Python爬虫新手入门之初学lxml库

4.2.如何解析网页呢

使用lxml库

lxml 是一种使用 Python 编写的库,可以迅速、灵活地处理 XML 和 HTML。

它支持 XML Path Language (XPath) 和 Extensible Stylesheet Language Transformation (XSLT),并且实现了常见的 ElementTree API。

安装

windows下安装

#pip方式安装
pip3 install lxml
 
#wheel方式安装 
#下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl

linux下安装

yum install -y epel-release libxslt-devel libxml2-devel openssl-devel
 
pip3 install lxml

环境/版本一览:

  • 开发工具:PyCharm 2020.2.3
  • python:3.8.5

4.3.编写代码

import urllib.request
from lxml import etree
 
# 获取百度热榜
url = "https://www.baidu.com/s?ie=UTF-8&wd=1"
# 我们在请求头加入User-Agent参数,这样可以让服务端认为此次请求是用户通过浏览器发起的正常请求,防止被识别为爬虫程序请求导致直接拒绝访问
req = urllib.request.Request(url=url, headers={
 'User-Agent': 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
})
# 发起请求
html_resp = urllib.request.urlopen(req).read().decode("utf-8")

到这里我们可以顺利获取百度的搜索页面html文档

我门需要看一下热搜排行榜的标签元素在哪里

Python爬虫新手入门之初学lxml库

Python爬虫新手入门之初学lxml库

找到第一条  右键复制 XPath   (后边说XPath是什么)

Python爬虫新手入门之初学lxml库

我们需要了解并使用XPath,XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。

复制的内容结果是: //*[@id="con-ar"]/div[2]/div/div/table/tbody[1]/tr[1]

这xPath字符串 表示现在在html定位的位置就是热点新闻第一行内容

5.XPath常用规则


表达式 描述
nodename 选取此节点的所有子节点
/ 从当前节点选取直接子节点
// 从当前节点选取子孙节点
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性
* 通配符,选择所有元素节点与元素名
@* 选取所有属性
[@attrib] 选取具有给定属性的所有元素
[@attrib='value'] 选取给定属性具有给定值的所有元素
[tag] 选取所有具有指定元素的直接子节点
[tag='text'] 选取所有具有指定元素并且文本内容是text节点

 

6.继续分析

那么我们要获取所有的热点新闻该怎么写呢

继续看网页

Python爬虫新手入门之初学lxml库

可以看到所有的热榜分别在三个<tbody>之下

修改一下刚才复制的XPath

//*[@id="con-ar"]/div[2]/div/div/table/tbody[1]/tr[1] 改为  //*[@id="con-ar"]/div[2]/div/div/table/tbody/tr

这样XPath就会定位到这三个tbody下的所有tr元素内容

我们继续看一下tr是不是我们想要的内容,展开一个tr看看

Python爬虫新手入门之初学lxml库

淦~还有一堆,,

这该怎么办。我们需要拿到数据是 【标题】 【访问链接】 【热度】,现在手里已经拿到的是所有的tr元素

紧接着从tr下手 直接 拿到下面所有<a>标签的标题与超链接

标题的XPath: */a/@title 超链接的XPath: */a/@href

*表示匹配tr下的所有元素  /a是在*找到第一个a标签  @是属性选择器 title和href就是要选择的素属性了

还剩下个热度,let‘s me 继续操作,直接选择tr下的第二个td  XPath: td[2]

分析完毕,把完整的代码贴出来

import urllib.request
from lxml import etree
 
# 获取百度热榜
 
url = "https://www.baidu.com/s?ie=UTF-8&wd=1"
# 我们在请求头加入User-Agent参数,这样可以让服务端认为此次请求是用户通过浏览器发起的正常请求,防止被识别为爬虫程序请求导致直接拒绝访问
req = urllib.request.Request(url=url, headers={
  'User-Agent': 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
 })
html_resp = urllib.request.urlopen(req).read().decode("utf-8")
html = etree.HTML(html_resp)#初始化生成一个XPath解析对象
_list = html.xpath("//*[@id='con-ar']/div[2]/div/div/table/tbody/tr")
print(f"article count : {len(_list)}")
 
for tr in _list:
 title = tr.xpath("*/a/@title")[0]
 href = tr.xpath("*/a/@href")[0]
 hot = tr.xpath("string(td[2])").strip()
 print(f"{hot}\t{title}\thttps://www.baidu.com{href}")

点击运行,程序啪就跑起来了,很快啊,数据全都过来了,我全都接住了,我笑了一下。

到此就完成了lxml xpath的基本使用,更详细的xpath教程请看 :https://www.w3school.com.cn/xpath/index.asp

爬虫三要素,抓取数据完成了,剩余的分析与存储就先不说了

总结

到此这篇关于Python爬虫新手入门之初学lxml库的文章就介绍到这了,更多相关Python爬虫入门之lxml库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
pycharm 使用心得(八)如何调用另一文件中的函数
Jun 06 Python
Python实现类似jQuery使用中的链式调用的示例
Jun 16 Python
Python序列操作之进阶篇
Dec 08 Python
python编程线性回归代码示例
Dec 07 Python
mac系统安装Python3初体验
Jan 02 Python
python实现猜数字小游戏
Mar 24 Python
解决python3插入mysql时内容带有引号的问题
Mar 02 Python
django项目中新增app的2种实现方法
Apr 01 Python
python中tab键是什么意思
Jun 18 Python
Python浮点型(float)运算结果不正确的解决方案
Sep 22 Python
在终端启动Python时报错的解决方案
Nov 20 Python
利用python为PostgreSQL的表自动添加分区
Jan 18 Python
Python修改DBF文件指定列
Dec 19 #Python
Python实现FTP文件定时自动下载的步骤
Dec 19 #Python
Python+Xlwings 删除Excel的行和列
Dec 19 #Python
python Zmail模块简介与使用示例
Dec 19 #Python
python中实现栈的三种方法
Dec 19 #Python
python中实现词云图的示例
Dec 19 #Python
python 实现图片批量压缩的示例
Dec 18 #Python
You might like
espresso double下 咖啡粉超细时 饼压力对咖啡的影响
2021/03/03 冲泡冲煮
PHP新手用的Insert和Update语句构造类
2012/03/31 PHP
Yii2.0中使用js异步删除示例
2017/03/10 PHP
PHP编程求最大公约数与最小公倍数的方法示例
2017/05/29 PHP
thinkPHP框架实现的短信接口验证码功能示例
2018/06/20 PHP
从ThinkPHP3.2.3过渡到ThinkPHP5.0学习笔记图文详解
2019/04/03 PHP
给moz-firefox下添加IE方法和属性
2007/04/10 Javascript
Jquery跨域获得Json时invalid label错误的解决办法
2011/01/11 Javascript
深入理解jQuery中live与bind方法的区别
2013/12/18 Javascript
JS中prototype的用法实例分析
2015/03/19 Javascript
JavaScript判断表单中多选框checkbox选中个数的方法
2015/08/17 Javascript
跟我学习javascript的基本类型和引用类型
2015/11/16 Javascript
AngularJs Understanding the Controller Component
2016/09/02 Javascript
JavaScript表单即时验证 验证不成功不能提交
2017/08/31 Javascript
v-slot和slot、slot-scope之间相互替换实例
2020/09/04 Javascript
[05:03]2018DOTA2亚洲邀请赛主赛事首日回顾
2018/04/04 DOTA
[39:00]Optic vs VP 2018国际邀请赛淘汰赛BO3 第三场 8.24
2018/08/25 DOTA
python动态监控日志内容的示例
2014/02/16 Python
Python工程师面试题 与Python Web相关
2016/01/14 Python
Python编程中归并排序算法的实现步骤详解
2016/05/04 Python
Python的消息队列包SnakeMQ使用初探
2016/06/29 Python
Python建立Map写Excel表实例解析
2018/01/17 Python
Python中的函数作用域
2018/05/07 Python
python 实现求解字符串集的最长公共前缀方法
2018/07/20 Python
python+selenium实现简历自动刷新的示例代码
2019/05/20 Python
Python中的正则表达式与JSON数据交换格式
2019/07/03 Python
Pycharm 字体大小调整设置的方法实现
2019/09/27 Python
Python values()与itervalues()的用法详解
2019/11/27 Python
django 读取图片到页面实例
2020/03/27 Python
Python多线程实现支付模拟请求过程解析
2020/04/21 Python
一款纯css3实现的响应式导航
2014/10/31 HTML / CSS
瑞典时尚服装购物网站:Miinto.se
2017/10/30 全球购物
马来西亚最大的在线隐形眼镜商店:MrLens
2019/03/27 全球购物
DataList 能否分页,请问如何实现?
2015/05/03 面试题
企业党的群众路线教育实践活动领导班子对照检查材料
2014/09/25 职场文书
2016中考冲刺决心书
2015/09/22 职场文书