Python爬虫框架Scrapy实例代码


Posted in Python onMarch 04, 2018

目标任务:爬取腾讯社招信息,需要爬取的内容为:职位名称,职位的详情链接,职位类别,招聘人数,工作地点,发布时间。

一、创建Scrapy项目

scrapy startproject Tencent

命令执行后,会创建一个Tencent文件夹,结构如下

二、编写item文件,根据需要爬取的内容定义爬取字段

# -*- coding: utf-8 -*-
import scrapy
class TencentItem(scrapy.Item):
  # 职位名
  positionname = scrapy.Field()
  # 详情连接
  positionlink = scrapy.Field()
  # 职位类别
  positionType = scrapy.Field()
  # 招聘人数
  peopleNum = scrapy.Field()
  # 工作地点
  workLocation = scrapy.Field()
  # 发布时间
  publishTime = scrapy.Field()

三、编写spider文件

进入Tencent目录,使用命令创建一个基础爬虫类:

# tencentPostion为爬虫名,tencent.com为爬虫作用范围
scrapy genspider tencentPostion "tencent.com"

执行命令后会在spiders文件夹中创建一个tencentPostion.py的文件,现在开始对其编写:

# -*- coding: utf-8 -*-
import scrapy
from tencent.items import TencentItem
class TencentpositionSpider(scrapy.Spider):
  """
  功能:爬取腾讯社招信息
  """
  # 爬虫名
  name = "tencentPosition"
  # 爬虫作用范围
  allowed_domains = ["tencent.com"]
  url = "http://hr.tencent.com/position.php?&start="
  offset = 0
  # 起始url
  start_urls = [url + str(offset)]
  def parse(self, response):
    for each in response.xpath("//tr[@class='even'] | //tr[@class='odd']"):
      # 初始化模型对象
      item = TencentItem()
      # 职位名称
      item['positionname'] = each.xpath("./td[1]/a/text()").extract()[0]
      # 详情连接
      item['positionlink'] = each.xpath("./td[1]/a/@href").extract()[0]
      # 职位类别
      item['positionType'] = each.xpath("./td[2]/text()").extract()[0]
      # 招聘人数
      item['peopleNum'] = each.xpath("./td[3]/text()").extract()[0]
      # 工作地点
      item['workLocation'] = each.xpath("./td[4]/text()").extract()[0]
      # 发布时间
      item['publishTime'] = each.xpath("./td[5]/text()").extract()[0]
      yield item
    if self.offset < 1680:
      self.offset += 10
    # 每次处理完一页的数据之后,重新发送下一页页面请求
    # self.offset自增10,同时拼接为新的url,并调用回调函数self.parse处理Response
    yield scrapy.Request(self.url + str(self.offset), callback = self.parse)

四、编写pipelines文件

# -*- coding: utf-8 -*-
import json
class TencentPipeline(object):
""" 
    功能:保存item数据 
  """
  def __init__(self):
    self.filename = open("tencent.json", "w")
  def process_item(self, item, spider):
    text = json.dumps(dict(item), ensure_ascii = False) + ",\n"
    self.filename.write(text.encode("utf-8"))
    return item
  def close_spider(self, spider):
    self.filename.close()

五、settings文件设置(主要设置内容)

# 设置请求头部,添加url
DEFAULT_REQUEST_HEADERS = {
  "User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;",
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
}
# 设置item——pipelines
ITEM_PIPELINES = {
  'tencent.pipelines.TencentPipeline': 300,
}

执行命令,运行程序

# tencentPosition为爬虫名
scrapy crwal tencentPosition

使用CrawlSpider类改写

# 创建项目
scrapy startproject TencentSpider
# 进入项目目录下,创建爬虫文件
scrapy genspider -t crawl tencent tencent.com
item等文件写法不变,主要是爬虫文件的编写
# -*- coding:utf-8 -*-
import scrapy
# 导入CrawlSpider类和Rule
from scrapy.spiders import CrawlSpider, Rule
# 导入链接规则匹配类,用来提取符合规则的连接
from scrapy.linkextractors import LinkExtractor
from TencentSpider.items import TencentItem
class TencentSpider(CrawlSpider):
  name = "tencent"
  allow_domains = ["hr.tencent.com"]
  start_urls = ["http://hr.tencent.com/position.php?&start=0#a"]
  # Response里链接的提取规则,返回的符合匹配规则的链接匹配对象的列表
  pagelink = LinkExtractor(allow=("start=\d+"))
  rules = [
    # 获取这个列表里的链接,依次发送请求,并且继续跟进,调用指定回调函数处理
    Rule(pagelink, callback = "parseTencent", follow = True)
  ]
  # 指定的回调函数
  def parseTencent(self, response):
    for each in response.xpath("//tr[@class='even'] | //tr[@class='odd']"):
      item = TencentItem()
      # 职位名称
      item['positionname'] = each.xpath("./td[1]/a/text()").extract()[0]
      # 详情连接
      item['positionlink'] = each.xpath("./td[1]/a/@href").extract()[0]
      # 职位类别
      item['positionType'] = each.xpath("./td[2]/text()").extract()[0]
      # 招聘人数
      item['peopleNum'] = each.xpath("./td[3]/text()").extract()[0]
      # 工作地点
      item['workLocation'] = each.xpath("./td[4]/text()").extract()[0]
      # 发布时间
      item['publishTime'] = each.xpath("./td[5]/text()").extract()[0]
      yield item

总结

以上所述是小编给大家介绍的Python爬虫框架Scrapy实例代码,希望对大家有所帮助,如果大家有任何疑问欢迎给我留言,小编会及时回复大家的!

Python 相关文章推荐
Python中asyncore的用法实例
Sep 29 Python
Python中使用HTMLParser解析html实例
Feb 08 Python
Python实现Tab自动补全和历史命令管理的方法
Mar 12 Python
Python3搜索及替换文件中文本的方法
May 22 Python
从零开始学Python第八周:详解网络编程基础(socket)
Dec 14 Python
老生常谈Python序列化和反序列化
Jun 28 Python
python中kmeans聚类实现代码
Feb 23 Python
python配置grpc环境
Jan 01 Python
pyqt5 删除layout中的所有widget方法
Jun 25 Python
在python Numpy中求向量和矩阵的范数实例
Aug 26 Python
keras CNN卷积核可视化,热度图教程
Jun 22 Python
在 Python 中使用 MQTT的方法
Aug 18 Python
详解python中asyncio模块
Mar 03 #Python
python3.6+django2.0开发一套学员管理系统
Mar 03 #Python
python爬虫面试宝典(常见问题)
Mar 02 #Python
Python基于Flask框架配置依赖包信息的项目迁移部署
Mar 02 #Python
谈谈python中GUI的选择
Mar 01 #Python
纯python实现机器学习之kNN算法示例
Mar 01 #Python
用python与文件进行交互的方法
Mar 01 #Python
You might like
PHP中的流(streams)浅析
2015/07/02 PHP
PHP Ajax实现无刷新附件上传
2016/08/17 PHP
dreamweaver 安装Jquery智能提示
2011/04/02 Javascript
js中将URL中的参数提取出来作为对象的实现代码
2011/08/16 Javascript
js键盘上下左右键怎么触发function(实例讲解)
2013/12/14 Javascript
引入JS文件IE6报语法错误或缺少对象问题的解决方法
2014/01/09 Javascript
jquery实现submit提交表单
2015/02/03 Javascript
JavaScript通过字符串调用函数的实现方法
2015/03/18 Javascript
JavaScript自定义等待wait函数实例分析
2015/03/23 Javascript
javascript实现根据时间段显示问候语的方法
2015/06/18 Javascript
常用jQuery代码分享
2015/07/14 Javascript
Bootstrap每天必学之进度条
2015/11/30 Javascript
JavaScript中访问id对象 属性的方式访问属性(实例代码)
2016/10/28 Javascript
async/await地狱该如何避免详解
2018/05/10 Javascript
使用vue-router完成简单导航功能【推荐】
2018/06/28 Javascript
分享5个好用的javascript文件上传插件
2018/09/16 Javascript
深入浅析javascript函数中with
2018/10/28 Javascript
jquery层次选择器的介绍
2019/01/18 jQuery
使用axios请求时,发送formData请求的示例
2019/10/29 Javascript
echarts柱状图背景重叠组合而非并列的实现代码
2020/12/10 Javascript
详解Python核心编程中的浅拷贝与深拷贝
2018/01/07 Python
Request的中断和ErrorHandler实例解析
2018/02/12 Python
Python3数据库操作包pymysql的操作方法
2018/07/16 Python
Python设计模式之装饰模式实例详解
2019/01/21 Python
python中数据库like模糊查询方式
2020/03/02 Python
Python基于Serializer实现字段验证及序列化
2020/11/04 Python
CSS3中伪元素::before和::after的用法示例
2017/09/18 HTML / CSS
html5视频播放_动力节点Java学院整理
2017/07/13 HTML / CSS
Shop Apotheke瑞士:您的健康与美容网上商店
2019/10/09 全球购物
纯净、自信、100%的羊绒服装:360Cashmere
2021/02/20 全球购物
毕业生求职简历的自我评价
2013/10/23 职场文书
教师个人鉴定材料
2014/02/08 职场文书
环保建议书
2014/03/12 职场文书
应聘编辑自荐信范文
2014/03/12 职场文书
房地产置业顾问工作总结
2015/10/23 职场文书
如何在pycharm中快捷安装pip命令(如pygame)
2021/05/31 Python