解决Python selenium get页面很慢时的问题


Posted in Python onJanuary 30, 2019

driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。

在执行脚本时,driver.get("url") ,如果当前的url页面内容较多加载特别慢,很费时间,但是我们需要操作的元素已经加载出来,可以将页面加载停掉,不影响后面的脚本执行,解决办法

设置页面加载timeout,get操作: try get except 脚本window.stop(), 使用GeckoDriver上有效果,

但是在ChromeDriver上还是会有问题,抛出异常timeout后续脚本不会继续执行

GeckoDriver执行具体如下:

访问百度贴吧某个获取其帖子总页数:

可以通过两种方式获取,简单的就是直接定位元素共11页

代码用定位尾页获取总页数

解决Python selenium get页面很慢时的问题

from selenium import webdriver
import re
 
driver = webdriver.Firefox()
#设定页面加载timeout时长,需要的元素能加载出来就行
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
#try去get
try:
  driver.get("http://tieba.baidu.com/p/5659969529?red_tag=w0852861182")
except:
  print("加载页面太慢,停止加载,继续下一步操作")
  driver.execute_script("window.stop()")
last_page_element = driver.find_element_by_css_selector("li.l_pager.pager_theme_4.pb_list_pager >a:nth-child(12)") #定位到元素尾页元素
#获取尾页页码链接文本
text = last_page_element.get_attribute("href")
all_page_num = re.search("\d+$",text).group() # 正则匹配到页码
print("当前贴吧贴子总页数为:%s"%all_page_num)

以上这篇解决Python selenium get页面很慢时的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的归并排序算法示例
Nov 21 Python
python下解压缩zip文件并删除文件的实例
Apr 24 Python
解决Mac安装scrapy失败的问题
Jun 13 Python
朴素贝叶斯分类算法原理与Python实现与使用方法案例
Jun 26 Python
python 实现UTC时间加减的方法
Dec 31 Python
Python简单I/O操作示例
Mar 18 Python
把JSON数据格式转换为Python的类对象方法详解(两种方法)
Jun 04 Python
python获取当前文件路径以及父文件路径的方法
Jul 10 Python
使用Python实现分别输出每个数组
Dec 06 Python
解决Pycharm 导入其他文件夹源码的2种方法
Feb 12 Python
Python定义一个函数的方法
Jun 15 Python
解决Pycharm 运行后没有输出的问题
Feb 05 Python
对python实现模板生成脚本的方法详解
Jan 30 #Python
ActiveMQ:使用Python访问ActiveMQ的方法
Jan 30 #Python
python 发送和接收ActiveMQ消息的实例
Jan 30 #Python
Python批量生成特定尺寸图片及图画任意文字的实例
Jan 30 #Python
理想高通滤波实现Python opencv示例
Jan 30 #Python
对DataFrame数据中的重复行,利用groupby累加合并的方法详解
Jan 30 #Python
WIn10+Anaconda环境下安装PyTorch(避坑指南)
Jan 30 #Python
You might like
php采集时被封ip的解决方法
2010/08/29 PHP
整理的9个实用的PHP库简介和下载
2010/11/09 PHP
求PHP数组最大值,最小值的代码
2011/10/31 PHP
使用PHP获取汉字的拼音(全部与首字母)
2013/06/27 PHP
PHP面向对象教程之自定义类
2014/06/10 PHP
PHP新建类问题分析及解决思路
2015/11/19 PHP
JQuery 解析多维的Json数据格式
2009/11/02 Javascript
JS实现在Repeater控件中创建可隐藏区域的代码
2010/09/16 Javascript
js中的string.format函数代码
2020/08/11 Javascript
仅Firefox中链接A无法实现模拟点击以触发其默认行为
2011/07/31 Javascript
向当前style sheet中插入一个新的style实现方法
2013/04/01 Javascript
Javascript浅谈之this
2013/12/17 Javascript
jquery数组过滤筛选方法grep()简介
2014/06/06 Javascript
javascript实现Table排序的方法
2015/05/15 Javascript
使用jQuery实现一个类似GridView的编辑,更新,取消和删除的功能
2017/03/15 Javascript
JavaScript实现移动端轮播效果
2017/06/06 Javascript
基于vue的换肤功能的示例代码
2017/10/10 Javascript
jquery-file-upload 文件上传带进度条效果
2017/11/21 jQuery
详解如何在Vue项目中导出Excel
2019/04/19 Javascript
Vue基于localStorage存储信息代码实例
2020/11/16 Javascript
[01:52]DOTA2完美大师赛Vega战队趣味视频——kpii老师小课堂
2017/11/25 DOTA
Python Tkinter基础控件用法
2014/09/03 Python
使用SAE部署Python运行环境的教程
2015/05/05 Python
Python爬虫模拟登录带验证码网站
2016/01/22 Python
python 调用win32pai 操作cmd的方法
2017/05/28 Python
Python多线程爬虫实战_爬取糗事百科段子的实例
2017/12/15 Python
python实现日常记账本小程序
2018/03/10 Python
python统计字母、空格、数字等字符个数的实例
2018/06/29 Python
django项目搭建与Session使用详解
2018/10/10 Python
python使用pip安装SciPy、SymPy、matplotlib教程
2019/11/20 Python
python爬虫库scrapy简单使用实例详解
2020/02/10 Python
Python连接mysql数据库及简单增删改查操作示例代码
2020/08/03 Python
追悼会上的答谢词
2014/01/10 职场文书
市场营销策划方案
2014/06/11 职场文书
2014党员干部四风问题对照检查材料思想汇报
2014/09/24 职场文书
导游词之沈阳清昭陵
2019/12/28 职场文书