Python爬虫框架Scrapy常用命令总结


Posted in Python onJuly 26, 2018

本文实例讲述了Python爬虫框架Scrapy常用命令。分享给大家供大家参考,具体如下:

在Scrapy中,工具命令分为两种,一种为全局命令,一种为项目命令

全局命令不需要依靠Scrapy项目就可以在全局中直接运行,而项目命令必须要在Scrapy项目中才可以运行

全局命令

全局命令有哪些呢,要想了解在Scrapy中有哪些全局命令,可以在不进入Scrapy项目所在目录的情况下,运行scrapy-h,如图所示:

Python爬虫框架Scrapy常用命令总结

可以看到,此时在可用命令在终端下展示出了常见的全局命令,分别为fetchrunspidersettingsshellstartprojectversionview

fetch命令

fetch命令主要用来显示爬虫爬取的过程.如下图所示:

Python爬虫框架Scrapy常用命令总结

在使用fetch命令时,同样可以使用某些参数进行相应的控制。那么fetch有哪些相关参数可以使用呢?我们可以通过scrpy fetch -h列出所有可以使用的fetch相关参数。比如我们可以使用?headers显示头信息,也可以使用?nolog控制不显示日志信息,还可以使用?spider=SPIDER参数来控制使用哪个爬虫,通过?logfile=FILE指定存储日志信息的文件,通过?loglevel=LEVEL控制日志等级。举个栗子:

# 显示头信息,并且不显示日志信息
scrpay -fetch --headers --nolog http://www.baidu.com

sunspider命令

通过runspider命令可以不依托scrapy的爬虫项目,直接运行一个爬虫文件

# first.py为自定义的一个爬虫文件
scrapy runspider first.py

settings命令

在scrapy项目所在的目录中使用settings命令查看的使用对应的项目配置信息,如果在scrapy项目所在的目录外使用settings命令查看的Scrapy默认的配置信息

# 在项目中使用此命令打印的为BOT_NAME对应的值,即scrapy项目名称。
# 在项目外使用此命令打印的为scrapybot
scrapy settings --get BOT_NAME

shell命令

通过shell命令可以启动Scrapy的交互终端。

Scrapy的交互终端经常在开发以及调试的时候用到,使用Scrapy的交互终端可以实现在不启动Scrapy爬虫的情况下,对网站响应进行调试,同样,在该交互终端下,我们也可以写一些Python代码进行相应测试。

Python爬虫框架Scrapy常用命令总结

>>>后面可以输入交互命令以及相应的代码

startproject命令

用于创建scrapy项目

version命令

查看scrapy版本

view命令

用于下载某个网页,然后通过浏览器查看

项目命令

bench命令

测试本地硬件的性能

scrapy bench

genspider命令

用于创建爬虫文件,这是一种快速创建爬虫文件的方式。

# scrpay genspider -t 基本格式
# basic 模板
# baidu.com 爬取的域名
scrapy genspider -t basic xxx baidu.com

此时在spider文件夹下会生成一个以xxx命名的py文件。可以使用scrapy genspider -l查看所有可用爬虫模板。当前可用的爬虫模板有:basiccrawlcsvfeedxmlfeed

check命令

使用check命令可以实现对某个爬虫文件进行合同检查,即测试.

# xxx为爬虫名
scrapy check xxx

crawl命令

启动某个爬虫

# xxx为爬虫名
scrapy crawl xxx

list命令

列出当前可使用的爬虫文件

scrapy list

edit命令

编辑爬虫文件

scrapy edit xxx

parse命令

通过parse命令,我们可以实现获取指定的URL网址,并使用对应的爬虫文件进行处理和分析

日志等级

等级名 含义
CRITICAL 发生了最严重的错误
ERROR 发生了必须立即处理的错误
WARNING 出现了一些警告信息,即存在潜在错误
INFO 输出一些提示显示
DEBUG 输出一些调试信息

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python分割和拼接字符串
Nov 01 Python
深入理解Python中命名空间的查找规则LEGB
Aug 06 Python
python使用两种发邮件的方式smtp和outlook示例
Jun 02 Python
一看就懂得Python的math模块
Oct 21 Python
python-itchat 统计微信群、好友数量,及原始消息数据的实例
Feb 21 Python
python flask框架实现传数据到js的方法分析
Jun 11 Python
python 机器学习之支持向量机非线性回归SVR模型
Jun 26 Python
python实现ip地址的包含关系判断
Feb 07 Python
python如何保存文本文件
Jun 07 Python
PyCharm 安装与使用配置教程(windows,mac通用)
May 12 Python
分享Python异步爬取知乎热榜
Apr 12 Python
如何使用python包中的sched事件调度器
Apr 30 Python
Python退火算法在高次方程的应用
Jul 26 #Python
Python爬虫框架Scrapy基本用法入门教程
Jul 26 #Python
Tensorflow 合并通道及加载子模型的方法
Jul 26 #Python
解决tensorflow测试模型时NotFoundError错误的问题
Jul 26 #Python
tensorflow 恢复指定层与不同层指定不同学习率的方法
Jul 26 #Python
kaggle+mnist实现手写字体识别
Jul 26 #Python
解决tensorflow模型参数保存和加载的问题
Jul 26 #Python
You might like
PHP入门教程之字符串处理技巧总结(转换,过滤,解析,查找,截取,替换等)
2016/09/11 PHP
php版微信公众平台接口开发之智能回复开发教程
2016/09/22 PHP
解决微信授权回调页面域名只能设置一个的问题
2016/12/11 PHP
jQuery hover 延时器实现代码
2011/03/12 Javascript
JavaScript 基础篇之运算符、语句(二)
2012/04/07 Javascript
使用jquery获取网页中图片高度的两种方法
2013/09/26 Javascript
在页面上用action传递参数到后台出现乱码的解决方法
2013/12/31 Javascript
angularJS提交表单(form)
2015/02/09 Javascript
bootstrap实现弹窗和拖动效果
2016/01/03 Javascript
AngularJS基于ngInfiniteScroll实现下拉滚动加载的方法
2016/12/14 Javascript
用纯Node.JS弹出Windows系统消息提示框实例(MessageBox)
2017/05/17 Javascript
jQuery实现简单的回到顶部totop功能示例
2017/10/16 jQuery
vue环形进度条组件实例应用
2018/10/10 Javascript
JS实现吸顶特效
2020/01/08 Javascript
[01:20]2018DOTA2亚洲邀请赛总决赛战队LGD晋级之路
2018/04/07 DOTA
python使用xmlrpc实例讲解
2013/12/17 Python
python放大图片和画方格实现算法
2018/03/30 Python
Python中整数的缓存机制讲解
2019/02/16 Python
Python的pygame安装教程详解
2020/02/10 Python
Python3之外部文件调用Django程序操作model等文件实现方式
2020/04/07 Python
如何验证python安装成功
2020/07/06 Python
浅析Python 责任链设计模式
2020/09/11 Python
聊聊Python pandas 中loc函数的使用,及跟iloc的区别说明
2021/03/03 Python
css3实现一款模仿iphone样式的注册表单
2013/03/20 HTML / CSS
美国猫狗药物和用品网站:PetCareRx
2017/01/05 全球购物
Janie and Jack美国官网:GAP旗下的高档童装品牌
2019/09/09 全球购物
美国在线面料商店:Fashion Fabrics Club
2020/01/31 全球购物
银行实习人员自我鉴定
2013/09/22 职场文书
客服工作职责
2013/12/11 职场文书
党员违纪检讨书
2014/02/18 职场文书
环境建设实施方案
2014/03/14 职场文书
小学家长评语大全
2014/04/16 职场文书
机械设计及其自动化专业求职信
2014/06/09 职场文书
小学运动会入场词
2015/07/18 职场文书
实习员工转正的评语汇总,以备不时之需
2019/12/17 职场文书
golang interface判断为空nil的实现代码
2021/04/24 Golang