编程 Python

详解python3 + Scrapy爬虫学习之创建项目

Posted in Python onApril 12, 2019

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

详解python3 + Scrapy爬虫学习之创建项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

详解python3 + Scrapy爬虫学习之创建项目

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个爬虫项目，打开文件夹查看

详解python3 + Scrapy爬虫学习之创建项目

打开spiders

详解python3 + Scrapy爬虫学习之创建项目

然后我们用pycharm打开

详解python3 + Scrapy爬虫学习之创建项目

点击File —>open，找到项目所在文件夹，打开即可

详解python3 + Scrapy爬虫学习之创建项目

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

详解python3 + Scrapy爬虫学习之创建项目

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdline
 
cmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

详解python3 + Scrapy爬虫学习之创建项目

鼠标右键tencent，新建python文件，即可创建。

以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

详解python3 + Scrapy爬虫学习之创建项目

- Author -

s_kangkang_A

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

python批量修改文件后缀示例代码分享

Dec 24 Python

仅用50行Python代码实现一个简单的代理服务器

Apr 08 Python

Python中super的用法实例

May 28 Python

pandas.DataFrame 根据条件新建列并赋值的方法

Apr 08 Python

Python双向循环链表实现方法分析

Jul 30 Python

python: 判断tuple、list、dict是否为空的方法

Oct 22 Python

python使用for循环计算0-100的整数的和方法

Feb 01 Python

简单了解python变量的作用域

Jul 30 Python

Python多线程及其基本使用方法实例分析

Oct 29 Python

Django实现CAS+OAuth2的方法示例

Oct 30 Python

Django admin 实现search_fields精确查询实例

Mar 30 Python

python cv2.resize函数high和width注意事项说明

Jul 05 Python

Python2和Python3的共存和切换使用

Apr 12 #Python

Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析

Apr 12 #Python

Python、 Pycharm、Django安装详细教程(图文)

Apr 12 #Python

Python面向对象程序设计构造函数和析构函数用法分析

Apr 12 #Python

Python面向对象思想与应用入门教程【类与对象】

Apr 12 #Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 #Python

Python实现的银行系统模拟程序完整案例

Apr 12 #Python

You might like

让你的PHP同时支持GIF、png、JPEG

2006/10/09 PHP

如何使用PHP计算上一个月的今天

2013/05/23 PHP

PHP中变量引用与变量销毁机制分析

2014/11/15 PHP

深入理解PHP变量的值类型和引用类型

2015/10/21 PHP

json简单介绍

2008/06/10 Javascript

Mootools 1.2教程正则表达式

2009/09/15 Javascript

JavaScript DOM 学习第七章表单的扩展

2010/02/19 Javascript

js function定义函数使用心得

2010/04/15 Javascript

JavaScript游戏之是男人就下100层代码打包

2010/11/08 Javascript

推荐17个优美新鲜的jQuery的工具提示插件

2012/09/14 Javascript

JS幻灯片可循环播放可平滑旋转带滚动导航(自写)

2013/08/05 Javascript

js抽奖实现随机抽奖代码效果

2013/12/02 Javascript

浅谈JavaScript的事件

2015/02/27 Javascript

Javascript对象Clone实例分析

2015/06/09 Javascript

jquery.validate表单验证插件使用方法解析

2016/11/07 Javascript

超出JavaScript安全整数限制的数字计算BigInt详解

2018/06/24 Javascript

jQuery实现动画、消失、显现、渐出、渐入效果示例

2018/09/06 jQuery

JS数组求和的常用方法总结【5种方法】

2019/01/14 Javascript

Javascript Worker子线程代码实例

2020/02/20 Javascript

JavaScript实现多球运动效果

2020/09/07 Javascript

Python编程中用close()方法关闭文件的教程

2015/05/24 Python

Django中使用Celery的教程详解

2018/08/24 Python

推荐10款最受Python开发者欢迎的Python IDE

2018/09/16 Python

python pygame实现方向键控制小球

2019/05/17 Python

使用Bazel编译TensorBoard教程

2020/02/15 Python

PyQt5的QWebEngineView使用示例

2020/10/20 Python

实例讲解CSS3中的box-flex弹性盒属性布局

2016/06/09 HTML / CSS

Burberry英国官网：英国标志性奢侈品牌

2017/03/29 全球购物

基督教卡片、励志礼品、家居装饰等：DaySpring

2018/10/12 全球购物

学校万圣节活动方案

2014/02/13 职场文书

活动总结结尾怎么写

2014/08/30 职场文书

2015年全国爱耳日活动总结

2015/02/27 职场文书

2016年端午节红领巾广播稿

2015/12/18 职场文书

MySQL触发器的使用

2021/05/24 MySQL

微信小程序结合ThinkPHP5授权登陆后获取手机号

2021/11/23 PHP

Go gorilla/sessions库安装使用

2022/08/14 Golang