编程 Python

详解python3 + Scrapy爬虫学习之创建项目

Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个爬虫项目，打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open，找到项目所在文件夹，打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent，新建python文件，即可创建。

以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

详解python3 + Scrapy爬虫学习之创建项目

- Author -

s_kangkang_A

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

30分钟搭建Python的Flask框架并在上面编写第一个应用

Mar 30 Python

python基于pygame实现响应游戏中事件的方法(附源码)

Nov 11 Python

Python语言实现百度语音识别API的使用实例

Dec 13 Python

Tensorflow之构建自己的图片数据集TFrecords的方法

Feb 07 Python

Python计算两个矩形重合面积代码实例

Sep 16 Python

python 输出列表元素实例(以空格/逗号为分隔符)

Dec 25 Python

python 实现任务管理清单案例

Apr 25 Python

django 解决扩展自带User表遇到的问题

May 14 Python

python 通过文件夹导入包的操作

Jun 01 Python

Keras之自定义损失(loss)函数用法说明

Jun 10 Python

Numpy 多维数据数组的实现

Jun 18 Python

python利用后缀表达式实现计算器功能

Feb 22 Python

Python2和Python3的共存和切换使用

Apr 12 #Python

Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析

Apr 12 #Python

Python、 Pycharm、Django安装详细教程(图文)

Apr 12 #Python

Python面向对象程序设计构造函数和析构函数用法分析

Apr 12 #Python

Python面向对象思想与应用入门教程【类与对象】

Apr 12 #Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 #Python

Python实现的银行系统模拟程序完整案例

Apr 12 #Python

You might like

输出控制类

2006/10/09 PHP

Linux下安装oracle客户端并配置php5.3

2014/10/12 PHP

PHP针对伪静态的注入总结【附asp与Python相关代码】

2017/08/01 PHP

PHP基于curl模拟post提交json数据示例

2018/06/22 PHP

实现PHP中session存储及删除变量

2018/10/15 PHP

thinkphp3.2框架中where条件查询用法总结

2019/08/13 PHP

TP5框架页面跳转样式操作示例

2020/04/05 PHP

$()JS小技巧

2007/07/21 Javascript

开发跨浏览器javascript常见注意事项

2009/01/01 Javascript

拖动table标题实现改变td的大小(css+js代码)

2013/04/16 Javascript

jquery 关于event.target使用的几点说明介绍

2013/04/26 Javascript

JQuery异步加载无限下拉框级联功能实现示例

2014/02/19 Javascript

Ubuntu中搭建Nodejs开发环境过程分享

2014/06/01 NodeJs

ztree获取当前选中节点子节点id集合的方法

2015/02/12 Javascript

jQuery 弹出层插件(推荐)

2016/05/24 Javascript

JavaScript实现页面定时刷新（定时器，meta）

2016/10/12 Javascript

推荐三款不错的图片压缩上传插件(webuploader、localResizeIMG4、LUploader)

2017/04/21 Javascript

vue.js获得当前元素的文字信息方法

2018/03/09 Javascript

微信小程序实现红包功能（后端PHP实现逻辑）

2018/07/11 Javascript

解决vue.js this.$router.push无效的问题

2018/09/03 Javascript

node链接mongodb数据库的方法详解【阿里云服务器环境ubuntu】

2019/03/07 Javascript

vue学习之Vue-Router用法实例分析

2020/01/06 Javascript

vue 实现超长文本截取,悬浮框提示

2020/07/29 Javascript

nuxt.js 在middleware(中间件)中实现路由鉴权操作

2020/11/06 Javascript

python多进程并发demo实例解析

2019/12/13 Python

浅谈Pytorch torch.optim优化器个性化的使用

2020/02/20 Python

Python 绘制可视化折线图

2020/07/22 Python

html5 实现客户端验证上传文件的大小(简单实例)

2016/05/15 HTML / CSS

英国性感内衣和睡衣品牌：Bluebella

2018/01/26 全球购物

女儿十岁生日答谢词

2014/01/27 职场文书

美术课外活动总结

2014/07/08 职场文书

春游踏青活动方案

2014/08/14 职场文书

最美家庭活动方案

2014/08/31 职场文书

民用住房租房协议书

2014/10/29 职场文书

幼师自荐信范文

2015/03/06 职场文书

详解Go语言运用广度优先搜索走迷宫

2021/06/23 Python