pycharm下打开、执行并调试scrapy爬虫程序的方法


Posted in Python onNovember 29, 2017

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1

pycharm下打开、执行并调试scrapy爬虫程序的方法

目录结构如下:

pycharm下打开、执行并调试scrapy爬虫程序的方法

pycharm下打开、执行并调试scrapy爬虫程序的方法

pycharm下打开、执行并调试scrapy爬虫程序的方法

打开Pycharm,选择open

pycharm下打开、执行并调试scrapy爬虫程序的方法

选择项目,ok

pycharm下打开、执行并调试scrapy爬虫程序的方法

打开如下界面之后,按alt + 1, 打开project 面板

pycharm下打开、执行并调试scrapy爬虫程序的方法

pycharm下打开、执行并调试scrapy爬虫程序的方法

在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz"。这个名字后面会用到。

pycharm下打开、执行并调试scrapy爬虫程序的方法

在test1目录和scrapy.cfg同级目录下面,新建一个begin.py文件(便于理解可以写成main.py),注意箭头2所指的名字和第5步中的name='dmoz'名字是一样的。

from scrapy import cmdline
cmdline.execute("scrapy crawl dmoz".split())

pycharm下打开、执行并调试scrapy爬虫程序的方法

7. 上面把文件搞定了,下面要配置一下pycharm了。点击Run->Edit Configurations

pycharm下打开、执行并调试scrapy爬虫程序的方法

8. 新建一个运行的python模块

pycharm下打开、执行并调试scrapy爬虫程序的方法

9. Name:改成spider; script:选择刚才新建的那个begin.py文件;Working Direciton:改成自己的工作目录

pycharm下打开、执行并调试scrapy爬虫程序的方法

10. 至此,大功告成了,点击下图,右上角的按钮就能运行了。

pycharm下打开、执行并调试scrapy爬虫程序的方法

调试

可以在其他代码中设置断点,就可以debug运行

pycharm下打开、执行并调试scrapy爬虫程序的方法

pycharm下打开、执行并调试scrapy爬虫程序的方法

遇到问题

1. Unknown command: crawl

调试运行,断点并未命中,控制台输出信息如下:

H:\Python\Python36\python.exe "H:\Program Files (x86)\JetBrains\PyCharm Community Edition 4.5.4\helpers\pydev\pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jl
pydev debugger: process 4740 is connecting

Connected to pydev debugger (build 141.3058)
Scrapy 1.3.2 - no active project

Unknown command: crawl

Use "scrapy" to see available commands

Process finished with exit code 2

工作目录设置有误,造成无法识别 scrapy 命令,按照上文所说,将工作目录设置为包含 scrapy.cfg,重新运行,问题解决。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python对html代码进行escape编码的方法
May 04 Python
python 远程统计文件代码分享
May 14 Python
Python字符串转换成浮点数函数分享
Jul 24 Python
Python实现希尔排序算法的原理与用法实例分析
Nov 23 Python
matplotlib设置legend图例代码示例
Dec 19 Python
使用Python和xlwt向Excel文件中写入中文的实例
Apr 21 Python
Python使用Phantomjs截屏网页的方法
May 17 Python
python批量修改图片后缀的方法(png到jpg)
Oct 25 Python
Python中__repr__和__str__区别详解
Nov 07 Python
Pycharm 2020最新永久激活码(附最新激活码和插件)
Sep 17 Python
python爬取豆瓣电影排行榜(requests)的示例代码
Feb 18 Python
python基础之文件处理知识总结
May 23 Python
Python快速排序算法实例分析
Nov 29 #Python
Python3学习urllib的使用方法示例
Nov 29 #Python
Python实现的选择排序算法示例
Nov 29 #Python
Python实现的桶排序算法示例
Nov 29 #Python
[原创]教女朋友学Python(一)运行环境搭建
Nov 29 #Python
对变量赋值的理解--Pyton中让两个值互换的实现方法
Nov 29 #Python
基于Python函数的作用域规则和闭包(详解)
Nov 29 #Python
You might like
PHP为表单获取的URL 地址预设 http 字符串函数代码
2010/05/26 PHP
PHP三层结构(上) 简单三层结构
2010/07/04 PHP
PHP安全配置详细说明
2011/09/26 PHP
Yii2使用表单上传文件的实例代码
2017/08/03 PHP
PHP使用zlib扩展实现GZIP压缩输出的方法详解
2018/04/09 PHP
thinkPHP框架RBAC实现原理分析
2019/02/01 PHP
php判断/计算闰年的方法小结【三种方法】
2019/07/06 PHP
如何在PHP环境中使用ProtoBuf数据格式
2020/06/19 PHP
JS获取节点的兄弟,父级,子级元素的方法
2014/01/09 Javascript
jQuery中last()方法用法实例
2015/01/06 Javascript
jquery实现简单的二级导航下拉菜单效果
2015/09/07 Javascript
jQuery中clone()函数实现表单中增加和减少输入项
2017/05/13 jQuery
vue项目部署上线遇到的问题及解决方法
2018/06/10 Javascript
javascript中关于类型判断的一些疑惑小结
2018/10/14 Javascript
vue项目创建步骤及路由router
2020/01/14 Javascript
antd design table更改某行数据的样式操作
2020/10/31 Javascript
[51:53]完美世界DOTA2联赛决赛日 Inki vs LBZS 第二场 11.08
2020/11/10 DOTA
Python中的map()函数和reduce()函数的用法
2015/04/27 Python
Python基于dom操作xml数据的方法示例
2018/05/12 Python
python实现寻找最长回文子序列的方法
2018/06/02 Python
Python数据可视化之画图
2019/01/15 Python
python使用 zip 同时迭代多个序列示例
2019/07/06 Python
详解python播放音频的三种方法
2019/09/23 Python
pytorch+lstm实现的pos示例
2020/01/14 Python
tensorflow 变长序列存储实例
2020/01/20 Python
python中68个内置函数的总结与介绍
2020/02/24 Python
深入浅析Python 函数注解与匿名函数
2020/02/24 Python
屏蔽Django admin界面添加按钮的操作
2020/03/11 Python
Python 如何创建一个线程池
2020/07/28 Python
python中使用asyncio实现异步IO实例分析
2021/02/26 Python
英国行业制服供应商:Alexandra
2019/09/14 全球购物
Muziker英国:中欧最大的音乐家商店
2020/02/05 全球购物
博士生入学考试推荐信
2013/11/17 职场文书
2016国培研修心得体会
2016/01/08 职场文书
pytorch 两个GPU同时训练的解决方案
2021/06/01 Python
Python selenium绕过webdriver监测执行javascript
2022/04/12 Python