Python爬虫框架之Scrapy中Spider的用法


Posted in Python onJune 28, 2021

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。

对spider来说,爬取的循环类似下文:

1.以初始的URL初始化Request,并设置回调函数。当该request下载完毕并返回时,将生成response,并作为参数传给该回调函数。spider中初始的request是通过调用start_requests()来获取的。start_requests()读取start_urls中的URL,并以parse为回调函数生成Request。

2.在回调函数内分析返回的(网页)内容,返回ltem对象或者Request或者一个包括二者的可迭代容器。返回的Request对象之后会经过Scrapy处理,下载相应的内容,并调用设置的callback函数(函数可相同)。

3.在回调函数内,您可以使用选择器(Selectors)(您也可以使用BeautifulSoup, Ixml或者您想用的任何解析器)来分析网页内容,并根据分析的数据生成item。

4.最后,由spider返回的item将被存到数据库(由某些ltem Pipeline处理)或使用Feed exports存入到文件中。

虽然该循环对任何类型的spider都(多少)适用,但Scrapy仍然为了不同的需求提供了多种默认spider。之后将讨论这些spider。

Spider

scrapy.spider.Spider是最简单的spider。每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。其仅仅请求给定的start_urls / start_requests,并根据返回的结果(resulting responses)调用spider的 parse方法。

name

定义spider名字的字符串(string)。spider的名字定义了Scrapy如何定位(并初始化) spider,所以其必须是唯一的。不过您可以生成多个相同的spider实例(instance),这没有任何限制。name是spider最重要的属性,而且是必须的。

如果该spider爬取单个网站(single domain),一个常见的做法是以该网站(domain)(加或不加后缀)来命名spider。例如,如果spider爬取 mywebsite.com,该spider通常会被命名为mywebsite。

allowed_domains

可选。包含了spider允许爬取的域名(domain)列表(list)。当OffsiteMiddleware启用时,域名不在列表中的URL不会被跟进。

start_urls

URL列表。当没有制定特定的URL时,spider将从该列表中开始进行爬取。因此,第一个被获取到的页面的URL将是该列表之一。后续的URL将会从获取到的数据中提取。

start_requests()

该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。

当spider启动爬取并且未制定URL时,该方法被调用。当指定了URL时,make_requests_from_url()将被调用来创建Request对象。该方法仅仅会被Scrapy调用一次,因此您可以将其实现为生成器。

该方法的默认实现是使用start_urls的url生成Request。

如果您想要修改最初爬取某个网站的Request对象,您可以重写(override)该方法。例如,如果您需要在启动时以POST登录某个网站,你可以这么写:

def start_requests(self) :
    return [scrapy.FormRequest("http : / /ww. example.com/login",
        formdata={ 'user' : 'john', ' pass ' : 'secret'},
        ca77back=se1f.1ogged_in)]
 
def logged_in(self,response) :
## here you would extract links to follow and return Requests for
## each of them,with another ca77back
pass

parse

当response没有指定回调函数时,该方法是Scrapy处理下载的response的默认方法。

parse负责处理response并返回处理的数据以及(/或)跟进的URL。Spider对其他的Request的回调函数也有相同的要求。

该方法及其他的Request回调函数必须返回一个包含Request 及(或) ltem的可迭代的对象。

参数: response-用于分析的response

启动方式

start_urls

start_urls是一个列表

start_requests

使用start_requests()重写start_ur1s,要使用Request()方法自己发送请求:

def start_requests(se7f):
    """重写start_urls 规则"""
    yield scrapy.Request(ur1='http://quotes.toscrape.com/page/1/'cal1back=self.parse)

scrapy.Request

scrapy.Request是一个请求对象,创建时必须制定回调函数。

数据保存

可以使用-o将数据保存为常见的格式(根据后缀名保存)
支持的格式有下面几种:

  • json
  • jsonlines
  • jl
  • csv
  • xml
  • marshal
  • pickle

使用方式:

scrapy crawl quotes2 -o a.json

案例: Spider样例

##一*- coding: utf-8 -*-
 
import scrapy
 
clTass Quotes2spider(scrapy.spider):
    name = 'quotes2'
    a7lowed_domains = [ 'toscrape.com ' ]
    start_urls = [ ' http: //quotes.toscrape.com/ page/2/ ']
 
    def parse(self,response):
        quotes = response.css('.quote ' )
        for quote in quotes:
            text = quote.css( '.text: : text ' ).extract_first()
            auth = quote.css( '.author : :text ').extract_first()
            tages = quote.css('.tags a: :text' ).extract()
            yield dict(text=text , auth=auth, tages=tages)

到此这篇关于Python爬虫框架之Scrapy中Spider的用法的文章就介绍到这了,更多相关Spider的用法内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python二分法实现实例
Nov 21 Python
go和python调用其它程序并得到程序输出
Feb 10 Python
横向对比分析Python解析XML的四种方式
Mar 30 Python
Python中异常重试的解决方案详解
May 05 Python
Python使用requests提交HTTP表单的方法
Dec 26 Python
Python 隐藏输入密码时屏幕回显的实例
Feb 19 Python
基于Python打造账号共享浏览器功能
May 30 Python
解决Pycharm后台indexing导致不能run的问题
Jun 27 Python
关于pycharm中pip版本10.0无法使用的解决办法
Oct 10 Python
基于h5py的使用及数据封装代码
Dec 26 Python
python time()的实例用法
Nov 03 Python
PyCharm2020.3.2安装超详细教程
Feb 08 Python
简单谈谈Python面向对象的相关知识
Jun 28 #Python
Python利用机器学习算法实现垃圾邮件的识别
浅谈Python中的正则表达式
Jun 28 #Python
python中subplot大小的设置步骤
手把手教你实现PyTorch的MNIST数据集
PyMongo 查询数据的实现
Jun 28 #Python
浅谈哪个Python库才最适合做数据可视化
You might like
中篇:安装及配置PHP
2006/12/13 PHP
PHP利用超级全局变量$_POST来接收表单数据的实例
2016/11/05 PHP
详解在YII2框架中使用UEditor编辑器发布文章
2018/11/02 PHP
javascript小数计算出现近似值的解决办法
2010/02/06 Javascript
js实现简单的星级选择器提交效果适用于评论等
2013/10/18 Javascript
javascript字符串替换及字符串分割示例代码
2013/12/12 Javascript
JavaScript实现广告的关闭与显示效果实例
2015/07/02 Javascript
JavaScript实现的类字典插入或更新方法实例
2015/07/10 Javascript
javascript for-in有序遍历json数据并探讨各个浏览器差异
2015/11/30 Javascript
JavaScript+html5 canvas实现图片破碎重组动画特效
2016/02/22 Javascript
javascript+HTML5 Canvas绘制转盘抽奖
2020/05/16 Javascript
JS实现消息来时让网页标题闪动效果的方法
2016/04/20 Javascript
js数组与字符串常用方法总结
2017/01/13 Javascript
Vue2.x中的父组件传递数据至子组件的方法
2017/05/01 Javascript
jQuery实现在HTML文档加载完毕后自动执行某个事件的方法
2017/05/08 jQuery
vue如何使用 Slot 分发内容实例详解
2017/09/05 Javascript
浅谈Vue SSR 的 Cookies 问题
2017/11/20 Javascript
JavaScript判断日期时间差的实例代码
2018/03/01 Javascript
vue.js仿hover效果的实现方法示例
2019/01/28 Javascript
Vue中错误图片的处理的实现代码
2019/11/07 Javascript
[33:23]Secret vs Serenity 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/17 DOTA
[27:08]完美世界DOTA2联赛PWL S2 SZ vs Rebirth 第二场 11.21
2020/11/23 DOTA
Python中的默认参数详解
2015/06/24 Python
Python图形绘制操作之正弦曲线实现方法分析
2017/12/25 Python
python方向键控制上下左右代码
2018/01/20 Python
使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法
2018/06/22 Python
Python爬虫实现爬取百度百科词条功能实例
2019/04/05 Python
Python xlwt模块使用代码实例
2020/06/10 Python
美国顶尖折扣时尚购物网:Bluefly
2016/08/28 全球购物
戴尔新西兰官网:Dell New Zealand
2020/01/07 全球购物
中考冲刺决心书
2014/03/11 职场文书
一个都不能少观后感
2015/06/04 职场文书
2019秋季运动会口号
2019/06/25 职场文书
导游词之大雁塔景区
2019/09/17 职场文书
总结Python使用过程中的bug
2021/06/18 Python
一文了解Java动态代理的原理及实现
2022/07/07 Java/Android