Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
Python利用Beautiful Soup模块创建对象详解
Mar 27 Python
Python创建普通菜单示例【基于win32ui模块】
May 09 Python
python高级特性和高阶函数及使用详解
Oct 17 Python
对python中的six.moves模块的下载函数urlretrieve详解
Dec 19 Python
python将txt文件读取为字典的示例
Dec 22 Python
python实现身份证实名认证的方法实例
Nov 08 Python
pygame库实现移动底座弹球小游戏
Apr 14 Python
详解python中各种文件打开模式
Jan 19 Python
pytorch 模型的train模式与eval模式实例
Feb 20 Python
keras 获取某层的输入/输出 tensor 尺寸操作
Jun 10 Python
Python用来做Web开发的优势有哪些
Aug 05 Python
Django框架中模型的用法
Jun 10 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
如何将数据从文本导入到mysql
2006/10/09 PHP
thinkPHP模板算术运算相关函数用法分析
2016/07/12 PHP
thinkphp 抓取网站的内容并且保存到本地的实例详解
2017/08/25 PHP
php 下 html5 XHR2 + FormData + File API 上传文件操作实例分析
2020/02/28 PHP
php实现简单四则运算器
2020/11/29 PHP
Jquery插件写法笔记整理
2012/09/06 Javascript
Jquery实现鼠标移上弹出提示框、移出消失思路及代码
2013/05/19 Javascript
下拉菜单点击实现连接跳转功能的js代码
2013/05/19 Javascript
JavaScript中的this关键字介绍与使用实例
2013/06/21 Javascript
JavaScript获取文本框内选中文本的方法
2015/02/20 Javascript
浅析JSONP技术原理及实现
2016/06/08 Javascript
全面介绍javascript实用技巧及单竖杠
2016/07/18 Javascript
利用bootstrapValidator验证UEditor
2016/09/14 Javascript
JavaScript实现瀑布流以及加载效果
2017/02/11 Javascript
js对象实例详解(JavaScript对象深度剖析,深度理解js对象)
2017/09/21 Javascript
为jquery的ajax请求添加超时timeout时间的操作方法
2018/09/04 jQuery
从零开始在NPM上发布一个Vue组件的方法步骤
2018/12/20 Javascript
JS使用数组实现的队列功能示例
2019/03/04 Javascript
在vue项目中利用popstate处理页面返回的操作介绍
2020/08/06 Javascript
Python中unittest用法实例
2014/09/25 Python
Python OS模块常用函数说明
2015/05/23 Python
Python 通配符删除文件的实例
2018/04/24 Python
浅析python的优势和不足之处
2018/11/20 Python
简单了解python gevent 协程使用及作用
2019/07/22 Python
python采集百度搜索结果带有特定URL的链接代码实例
2019/08/30 Python
Python3 shutil(高级文件操作模块)实例用法总结
2020/02/19 Python
Flask处理Web表单的实现方法
2021/01/31 Python
Smallable英国家庭概念店:设计师童装及家居装饰
2017/07/05 全球购物
会计岗位职责模板
2014/03/12 职场文书
弄虚作假心得体会
2014/09/10 职场文书
第28个世界无烟日活动总结
2015/02/10 职场文书
Django如何与Ajax交互
2021/04/29 Python
8g内存用python读取10文件_面试题-python 如何读取一个大于 10G 的txt文件?
2021/05/28 Python
详解Java实现数据结构之并查集
2021/06/23 Java/Android
Python帮你解决手机qq微信内存占用太多问题
2022/02/15 Python
vue报错function () { [native code] },无法出现我们想要的内容 Unknown custom element
2022/04/11 Vue.js