python网络爬虫 Scrapy中selenium用法详解


Posted in Python onSeptember 28, 2019

引入

在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行请求发送,获取动态加载的数据值。

1.案例分析:

- 需求:爬取网易新闻的国内、国际、军事、无人机板块下的新闻数据

- 需求分析:当点击国内超链进入国内对应的页面时,会发现当前页面展示的新闻数据是被动态加载出来的,如果直接通过程序对url进行请求,是获取不到动态加载出的新闻数据的。则需要我们使用selenium实例化一个浏览器对象,在该对象中进行url的请求,获取动态加载的新闻数据。

2.selenium在scrapy中使用的原理分析:

python网络爬虫 Scrapy中selenium用法详解

当引擎将国内板块url对应的请求提交给下载器后,下载器进行网页数据的下载,然后将下载到的页面数据,封装到response中,提交给引擎,引擎将response再转交给Spiders。Spiders接受到的response对象中存储的页面数据里是没有动态加载的新闻数据的。要想获取动态加载的新闻数据,则需要在下载中间件中对下载器提交给引擎的response响应对象进行拦截,切对其内部存储的页面数据进行篡改,修改成携带了动态加载出的新闻数据,然后将被篡改的response对象最终交给Spiders进行解析操作。

3.selenium在scrapy中的使用流程:

  • 重写爬虫文件的构造方法,在该方法中使用selenium实例化一个浏览器对象(因为浏览器对象只需要被实例化一次)
  • 重写爬虫文件的closed(self,spider)方法,在其内部关闭浏览器对象。该方法是在爬虫结束时被调用
  • 重写下载中间件的process_response方法,让该方法对响应对象进行拦截,并篡改response中存储的页面数据
  • 在配置文件中开启下载中间件

4.实例:

# 1.spider文件

import scrapy
from wangyiPro.items import WangyiproItem
from selenium import webdriver

class WangyiSpider(scrapy.Spider):
  name = 'wangyi'
  # allowed_domains = ['www.xxx.con']
  start_urls = ['https://news.163.com/']
  # 浏览器实例化的操作只会被执行一次
  bro = webdriver.Chrome(executable_path='chromedriver.exe')

  urls = []# 最终存放的就是5个板块对应的url

  def parse(self, response):
    li_list = response.xpath('//*[@id="index2016_wrap"]/div[1]/div[2]/div[2]/div[2]/div[2]/div/ul/li')
    for index in [3,4,6,7,8]:
      li = li_list[index]
      new_url = li.xpath('./a/@herf').extract_first()
      self.urls.append(new_url)

      # 对5大板块对应的url进行请求发送
      yield scrapy.Request(url=new_url,callback=self.parse_news)

  # 用来解析每一个板块对应的新闻数据【只能解析到新闻的标题】
  def parse_news(self,response):
    div_list = response.xpath('//div[@class="ndi_main"]/div')
    for div in div_list:
      title = div.xpath('./div/div[1]/h3/a/text()').extract_first()
      news_detail_url = div.xpath('./div/div[1]/h3/a/@href').extract_first()
      # 实例化item对象,将解析到的标题和内容存储到item对象中
      item = WangyiproItem()
      item['title'] = title
      # 对详情页的url进行手动请求发送获得新闻内容
      yield scrapy.Request(url=news_detail_url,callback=self.parse_detail,meta={'item':item})

  def parse_detail(self,response):
    item = response.meta['item']
    # 通过response解析出新闻内容
    content = response.xpath('//div[@id="endText"]//text()').extract()
    content = ''.join(content)

    item['content'] = content
    yield item

  def close(self,spider):
    # 当爬虫结束之后,调用关闭浏览器方法
    print('爬虫整体结束~~~~~~~~~~~~~~~~~~~')
    self.bro.quit()
----------------------------------------------------------------------------------------
# 2.items文件

import scrapy

class WangyiproItem(scrapy.Item):
  # define the fields for your item here like:
  # name = scrapy.Field()
  title = scrapy.Field()
  content = scrapy.Field()
----------------------------------------------------------------------------------------
# 3.middlewares文件

from scrapy import signals
from scrapy.http import HtmlResponse
from time import sleep

class WangyiproDownloaderMiddleware(object):

  def process_request(self, request, spider):
    return None

  def process_response(self, request, response, spider):
    # 判断哪些响应对象是5个板块的,如果在就对响应对象进行处理
    if response.url in spider.urls:
      # 获取在爬虫类中定义好的浏览器
      bro = spider.bro
      bro.get(response.url)

      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)
      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)
      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)
      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)

      # 获取携带了新闻数据的页面源码数据
      page_text = bro.page_source
      # 实例化一个新的响应对象
      new_response = HtmlResponse(url=response.url,body=page_text,encoding='utf-8',request=request)
      return new_response
    else:
      return response

  def process_exception(self, request, exception, spider):
    pass
----------------------------------------------------------------------------------------
# 4.pipelines文件

class WangyiproPipeline(object):
  def process_item(self, item, spider):
    print(item)
    return item
----------------------------------------------------------------------------------------
# 5.setting文件
BOT_NAME = 'wangyiPro'

SPIDER_MODULES = ['wangyiPro.spiders']
NEWSPIDER_MODULE = 'wangyiPro.spiders'

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'

ROBOTSTXT_OBEY = False

DOWNLOADER_MIDDLEWARES = {
  'wangyiPro.middlewares.WangyiproDownloaderMiddleware': 543,
}

ITEM_PIPELINES = {
  'wangyiPro.pipelines.WangyiproPipeline': 300,
}

LOG_LEVEL = 'ERROR'

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python list使用示例 list中找连续的数字
Jan 27 Python
python删除过期文件的方法
May 29 Python
通过5个知识点轻松搞定Python的作用域
Sep 09 Python
Python探索之创建二叉树
Oct 25 Python
python线程池threadpool使用篇
Apr 27 Python
Python wxpython模块响应鼠标拖动事件操作示例
Aug 23 Python
Python imageio读取视频并进行编解码详解
Dec 10 Python
Python实现鼠标自动在屏幕上随机移动功能
Mar 14 Python
python实现人机五子棋
Mar 25 Python
python对XML文件的操作实现代码
Mar 27 Python
python Paramiko使用示例
Sep 21 Python
Django视图类型总结
Feb 17 Python
在vscode中配置python环境过程解析
Sep 28 #Python
python爬虫 线程池创建并获取文件代码实例
Sep 28 #Python
python 单线程和异步协程工作方式解析
Sep 28 #Python
python爬虫 正则表达式解析
Sep 28 #Python
python爬虫 Pyppeteer使用方法解析
Sep 28 #Python
python安装scipy的步骤解析
Sep 28 #Python
python网络爬虫 CrawlSpider使用详解
Sep 27 #Python
You might like
Cappuccino 卡布其诺咖啡之制作
2021/03/03 冲泡冲煮
Thinkphp和onethink实现微信支付插件
2016/04/13 PHP
PHP中session跨子域的三种实现方法
2016/07/25 PHP
PHP session会话操作技巧小结
2016/09/27 PHP
thinkPHP实现签到功能的方法
2017/03/15 PHP
总结PHP中初始化空数组的最佳方法
2019/02/13 PHP
一文看懂PHP进程管理器php-fpm
2020/06/01 PHP
jQuery中的.bind()、.live()和.delegate()之间区别分析
2011/06/08 Javascript
30分钟就入门的正则表达式基础教程
2013/02/25 Javascript
jquery遍历checkbox介绍
2014/02/21 Javascript
离开当前页面前使用js判断条件提示是否要离开页面
2014/05/02 Javascript
ext前台接收action传过来的json数据示例
2014/06/17 Javascript
Javascript中Date类型和Math类型详解
2016/02/27 Javascript
DOM操作和jQuery实现选项移动操作的简单实例
2016/06/07 Javascript
同步文本框内容JS代码实现
2016/08/04 Javascript
jQuery 检查某个元素在页面上是否存在实例代码
2016/10/27 Javascript
Bootstrap超大屏幕的实现代码
2017/03/22 Javascript
修改Nodejs内置的npm默认配置路径方法
2018/05/13 NodeJs
浅谈JS和jQuery的区别
2019/03/27 jQuery
VUE 自定义组件模板的方法详解
2019/08/30 Javascript
[54:53]2014 DOTA2国际邀请赛中国区预选赛 LGD-GAMING VS CIS 第二场
2014/05/23 DOTA
python实现根据ip地址反向查找主机名称的方法
2015/04/29 Python
Python如何使用27行代码绘制星星图
2020/07/20 Python
素质拓展感言
2014/01/29 职场文书
医药销售求职信范文
2014/02/01 职场文书
物理研修随笔感言
2014/02/14 职场文书
道德模范先进事迹
2014/02/14 职场文书
作风年建设汇报材料
2014/08/14 职场文书
党在我心中的演讲稿
2014/09/13 职场文书
毕业实习自我鉴定范文2014
2014/09/26 职场文书
酒店保洁员岗位职责
2015/02/26 职场文书
2015年社区服务活动总结
2015/03/25 职场文书
鲁滨孙漂流记读书笔记
2015/06/30 职场文书
导游词之绍兴柯岩古镇
2020/01/09 职场文书
vue报错function () { [native code] },无法出现我们想要的内容 Unknown custom element
2022/04/11 Vue.js
zabbix如何添加监控主机和自定义监控项
2022/08/14 Servers