Python使用Scrapy保存控制台信息到文本解析


Posted in Python onDecember 27, 2017

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

Python使用Scrapy保存控制台信息到文本解析

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python多线程扫描端口示例
Jan 16 Python
python使用PIL缩放网络图片并保存的方法
Apr 24 Python
Python中多线程的创建及基本调用方法
Jul 08 Python
python读取LMDB中图像的方法
Jul 02 Python
python实现定时压缩指定文件夹发送邮件
Dec 22 Python
PyTorch的深度学习入门之PyTorch安装和配置
Jun 27 Python
Python获取时间范围内日期列表和周列表的函数
Aug 05 Python
Python中pymysql 模块的使用详解
Aug 12 Python
Python日期格式和字符串格式相互转换的方法
Feb 18 Python
使用Python第三方库pygame写个贪吃蛇小游戏
Mar 06 Python
QT5 Designer 打不开的问题及解决方法
Aug 20 Python
如何Python使用re模块实现okenizer
Apr 30 Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
You might like
长波有什么东西
2021/03/01 无线电
虚拟主机中对PHP的特殊设置
2006/10/09 PHP
PHP防止跨域提交表单
2013/11/01 PHP
php教程之phpize使用方法
2014/02/12 PHP
为你总结一些php信息函数
2015/10/21 PHP
PHP常见字符串操作函数与用法总结
2019/03/04 PHP
使用PHP反射机制来构造"CREATE TABLE"的sql语句
2019/03/21 PHP
imagettftext() 失效,不起作用
2021/03/09 PHP
一个JavaScript变量声明的知识点
2013/10/28 Javascript
jquery中交替点击事件的实现代码
2014/02/14 Javascript
可恶的ie8提示缺少id未定义
2014/03/20 Javascript
通过伪协议解决父页面与iframe页面通信的问题
2015/04/05 Javascript
JS 根据子网掩码,网关计算出所有IP地址范围示例
2020/04/23 Javascript
详解angularJs指令的3种绑定策略
2017/04/13 Javascript
js实现前端图片上传即时预览功能
2017/08/02 Javascript
浅谈vue引入css,less遇到的坑和解决方法
2018/01/20 Javascript
[01:02:34]TFT vs VGJ.T Supermajor 败者组 BO3 第二场 6.5
2018/06/06 DOTA
[49:08]OpTic vs Serenity 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/19 DOTA
Django在Win7下的安装及创建项目hello word简明教程
2014/07/14 Python
Python中用format函数格式化字符串的用法
2015/04/08 Python
解决Python出现_warn_unsafe_extraction问题的方法
2016/03/24 Python
python3.5+tesseract+adb实现西瓜视频或头脑王者辅助答题
2018/01/17 Python
python的scikit-learn将特征转成one-hot特征的方法
2018/07/10 Python
wxPython实现分隔窗口
2019/11/19 Python
Linux安装Python3如何和系统自带的Python2并存
2020/07/23 Python
用python批量下载apk
2020/12/29 Python
八年级语文教学反思
2014/02/11 职场文书
大学学生会竞选演讲稿
2014/04/25 职场文书
物流管理专业推荐信
2014/09/06 职场文书
2014年教师工作总结
2014/11/10 职场文书
2014年语文教学工作总结
2014/12/17 职场文书
住房公积金贷款工资证明
2015/06/12 职场文书
大学生活感想
2015/08/10 职场文书
Jupyter notebook 不自动弹出网页的解决方案
2021/05/21 Python
解决pycharm下载库时出现Failed to install package的问题
2021/09/04 Python
Redis基本数据类型String常用操作命令
2022/06/01 Redis