Python selenium爬虫实现定时任务过程解析


Posted in Python onJune 08, 2020

现在需要启动一个selenium的爬虫,使用火狐驱动+多线程,大家都明白的,现在电脑管家显示CPU占用率20%,启动selenium后不停的开启浏览器+多线程,

好,没过5分钟,CPU占用率直接拉到90%+,电脑卡到飞起,定时程序虽然还在运行,但是已经类似于待机状态,

是不是突然感觉到面对电脑卡死,第一反应:卧槽,这个lj电脑,这么程序都跑不起来,我还写这么多代码,*****!!

是吧,接下来上代码,具体功能,请自信查阅相关资料深造:

from datetime import datetime
from threading import Timer
import time

# 定时任务
def task():
  print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))

def timedTask():
  '''
  第一个参数: 延迟多长时间执行任务(秒)
  第二个参数: 要执行的函数
  第三个参数: 调用函数的参数(tuple)
  '''
  Timer(5, task, ()).start()

while True:
  timedTask()
  time.sleep(5)

7行代码,是不是很优雅?优不优雅的主要是代码少,不费劲对吧

2020-06-05 14:06:39
2020-06-05 14:06:44
2020-06-05 14:06:49
2020-06-05 14:06:54
2020-06-05 14:06:59
2020-06-05 14:07:04
2020-06-05 14:07:09
2020-06-05 14:07:14
2020-06-05 14:07:19
2020-06-05 14:07:24

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现Windows电脑定时关机
Jun 20 Python
python爬虫之线程池和进程池功能与用法详解
Aug 02 Python
Python基础教程之异常详解
Jan 10 Python
Python如何爬取微信公众号文章和评论(基于 Fiddler 抓包分析)
Jun 28 Python
Python语法之精妙的十个知识点(装B语法)
Jan 18 Python
如何在 Django 模板中输出 "{{"
Jan 24 Python
在Mac中PyCharm配置python Anaconda环境过程图解
Mar 11 Python
Keras框架中的epoch、bacth、batch size、iteration使用介绍
Jun 10 Python
python把一个字符串切开的实例方法
Sep 27 Python
Python Selenium异常处理的实例分析
Feb 28 Python
Python-typing: 类型标注与支持 Any类型详解
May 10 Python
Python多线程 Queue 模块常见用法
Jul 04 Python
python:HDF和CSV存储优劣对比分析
Jun 08 #Python
Python实现一个简单的毕业生信息管理系统的示例代码
Jun 08 #Python
Python while true实现爬虫定时任务
Jun 08 #Python
python 实现rolling和apply函数的向下取值操作
Jun 08 #Python
基于python计算滚动方差(标准差)talib和pd.rolling函数差异详解
Jun 08 #Python
Python实现查找数据库最接近的数据
Jun 08 #Python
python numpy库np.percentile用法说明
Jun 08 #Python
You might like
php 提速工具eAccelerator 配置参数详解
2010/05/16 PHP
php全局变量和类配合使用深刻理解
2013/06/05 PHP
PHP遍历某个目录下的所有文件和子文件夹的实现代码
2013/06/28 PHP
php防止网站被刷新的方法汇总
2014/12/01 PHP
Using the TextRange Object
2006/10/14 Javascript
javascript 四则运算精度修正函数代码
2010/05/31 Javascript
JS Map 和 List 的简单实现代码
2013/07/08 Javascript
浅析jquery的作用与优势
2013/12/02 Javascript
javascript计时器事件使用详解
2014/01/07 Javascript
js charAt的使用示例
2014/02/18 Javascript
html的DOM中Event对象onblur事件用法实例
2015/01/21 Javascript
原生JS实现美图瀑布流布局赏析
2015/09/07 Javascript
Javascript验证方法大全
2015/09/21 Javascript
Express实现前端后端通信上传图片之存储数据库(mysql)傻瓜式教程(一)
2015/12/10 Javascript
Js获取图片原始宽高的实现代码
2016/05/17 Javascript
angular.js 路由及页面传参示例
2017/02/24 Javascript
vue2.x集成百度UEditor富文本编辑器的方法
2018/09/21 Javascript
JS Ajax请求会话过期处理问题解决方法分析
2019/11/16 Javascript
使用JavaScript计算前一天和后一天的思路详解
2019/12/20 Javascript
微信小程序实现列表滚动头部吸顶的示例代码
2020/07/12 Javascript
python中随机函数random用法实例
2015/04/30 Python
python计算一个序列的平均值的方法
2015/07/11 Python
利用Python爬虫给孩子起个好名字
2017/02/14 Python
pandas中Timestamp类用法详解
2017/12/11 Python
python破解zip加密文件的方法
2018/05/31 Python
Django+Xadmin构建项目的方法步骤
2019/03/06 Python
简单了解python的内存管理机制
2019/07/08 Python
Html5 localStorage入门教程
2018/04/26 HTML / CSS
Shell脚本如何向终端输出信息
2014/04/25 面试题
奖学金自我鉴定范文
2013/10/03 职场文书
上课打牌的检讨书
2014/02/15 职场文书
飞机制造技术专业求职信
2014/07/27 职场文书
村主任群众路线个人对照检查材料
2014/09/26 职场文书
作风建设整改方案
2014/10/27 职场文书
Java实现简易的分词器功能
2021/06/15 Java/Android
tree shaking对打包体积优化及作用
2022/07/07 Java/Android