利用selenium爬虫抓取数据的基础教程


Posted in Python onJune 10, 2019

写在前面

本来这篇文章该几个月前写的,后来忙着忙着就给忘记了。

ps:事多有时候反倒会耽误事。

几个月前,记得群里一朋友说想用selenium去爬数据,关于爬数据,一般是模拟访问某些固定网站,将自己关注的信息进行爬取,然后再将爬出的数据进行处理。

他的需求是将文章直接导入到富文本编辑器去发布,其实这也是爬虫中的一种。

其实这也并不难,就是UI自动化的过程,下面让我们开始吧。

准备工具/原料

1、java语言

2、IDEA开发工具

3、jdk1.8

4、selenium-server-standalone(3.0以上版本)

步骤

1、分解需求:

需求重点主要是要保证原文格式样式都保留:

将要爬取文章,全选并复制

将复制后的文本,粘贴到富文本编辑器中即可

2、代码实现思路:

键盘事件模拟CTRL+A全选

键盘事件模拟CTRL+C复制

键盘事件模拟CTRL+V粘贴

3、实例代码

import org.junit.AfterClass;
import org.junit.BeforeClass;
import org.junit.Test;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;

import java.awt.*;
import java.awt.event.KeyEvent;
import java.util.concurrent.TimeUnit;

/**
 * @author rongrong
 * Selenium模拟访问网站爬虫操作代码示例
 */
public class Demo {
 private static WebDriver driver;
 static final int MAX_TIMEOUT_IN_SECONDS = 5;

 @BeforeClass
 public static void setUpBeforeClass() throws Exception {
  driver = new ChromeDriver();
  String url = "https://temai.snssdk.com/article/feed/index?id=6675245569071383053&subscribe=5501679303&source_type=28&content_type=1&create_user_id=34013&adid=__AID__&tt_group_id=6675245569071383053";
  driver.manage().window().maximize();
  driver.manage().timeouts().implicitlyWait(MAX_TIMEOUT_IN_SECONDS, TimeUnit.SECONDS);
  driver.get(url);
 }

 @AfterClass
 public static void tearDownAfterClass() throws Exception {
  if (driver != null) {
   System.out.println("运行结束!");
   driver.quit();
  }
 }

 @Test
 public void test() throws InterruptedException {
  Robot robot = null;
  try {
   robot = new Robot();
  } catch (AWTException e1) {
   e1.printStackTrace();
  }
  robot.keyPress(KeyEvent.VK_CONTROL);
  robot.keyPress(KeyEvent.VK_A);
  robot.keyRelease(KeyEvent.VK_A);
  Thread.sleep(2000);
  robot.keyPress(KeyEvent.VK_C);
  robot.keyRelease(KeyEvent.VK_C);
  robot.keyRelease(KeyEvent.VK_CONTROL);
  driver.get("https://ueditor.baidu.com/website/onlinedemo.html");
  Thread.sleep(2000);
  driver.switchTo().frame(0);
  driver.findElement(By.tagName("body")).click();
  robot.keyPress(KeyEvent.VK_CONTROL);
  robot.keyPress(KeyEvent.VK_V);
  robot.keyRelease(KeyEvent.VK_V);
  robot.keyRelease(KeyEvent.VK_CONTROL);
  Thread.sleep(2000);
 }
}

写在后面

笔者并不是特别建议使用selenium做爬虫,原因如下:

速度慢:

每次运行爬虫都要打开一个浏览器,初始化还需要加载图片、JS渲染等等一大堆东西;

占用资源太多:

有人说,把换成无头浏览器,原理都是一样的,都是打开浏览器,而且很多网站会验证参数,如果对方看到你恶意请求访问,会办了你的请求,然后你又要考虑更换请求头的事情,事情复杂程度不知道多了多少,还得去改代码,麻烦死了。

对网络的要求会更高:

加载了很多可能对您没有价值的补充文件(如css,js和图像文件)。 与真正需要的资源(使用单独的HTTP请求)相比,这可能会产生更多的流量。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
使用Python导出Excel图表以及导出为图片的方法
Nov 07 Python
python探索之BaseHTTPServer-实现Web服务器介绍
Oct 28 Python
tensorflow 恢复指定层与不同层指定不同学习率的方法
Jul 26 Python
python的中异常处理机制
Aug 30 Python
Python爬虫之正则表达式的使用教程详解
Oct 25 Python
python给微信好友定时推送消息的示例
Feb 20 Python
pyqt5 实现在别的窗口弹出进度条
Jun 18 Python
python中@property和property函数常见使用方法示例
Oct 21 Python
pytorch 利用lstm做mnist手写数字识别分类的实例
Jan 10 Python
Django用数据库表反向生成models类知识点详解
Mar 25 Python
Python3爬虫关于识别检验滑动验证码的实例
Jul 30 Python
python 基于PYMYSQL使用MYSQL数据库
Dec 24 Python
Python 监测文件是否更新的方法
Jun 10 #Python
python实现随机漫步方法和原理
Jun 10 #Python
使用python判断jpeg图片的完整性实例
Jun 10 #Python
关于Python作用域自学总结
Jun 10 #Python
Python读写文件基础知识点
Jun 10 #Python
python django框架中使用FastDFS分布式文件系统的安装方法
Jun 10 #Python
python三大神器之fabric使用教程
Jun 10 #Python
You might like
php引用计数器进行垃圾收集机制介绍
2012/09/19 PHP
php实现utf-8和GB2312编码相互转换函数代码
2013/02/07 PHP
php采用curl模仿登录人人网发布动态的方法
2014/11/07 PHP
PHP文件读取功能的应用实例
2015/05/08 PHP
php自定义函数实现二维数组按指定key排序的方法
2016/09/29 PHP
php版微信数据统计接口用法示例
2016/10/12 PHP
PHP从零开始打造自己的MVC框架之路由类实现方法分析
2019/06/03 PHP
js 异步操作回调函数如何控制执行顺序
2013/12/24 Javascript
Web打印解决方案之普通报表打印功能
2016/08/29 Javascript
Bootstrap显示与隐藏简单实现代码
2017/03/06 Javascript
基于 Bootstrap Datetimepicker 联动
2017/08/03 Javascript
深入理解与使用keep-alive(配合router-view缓存整个路由页面)
2018/09/25 Javascript
vscode配置vue下的es6规范自动格式化详解
2019/03/20 Javascript
详解Vue项目引入CreateJS的方法(亲测可用)
2019/05/30 Javascript
layui使用label标签的方法
2019/09/14 Javascript
jQuery 选择器用法基础入门示例
2020/01/04 jQuery
Vue为什么要谨慎使用$attrs与$listeners
2020/08/27 Javascript
[00:10]DOTA2全国高校联赛 以DOTA2会友
2018/05/30 DOTA
Python Web框架Flask信号机制(signals)介绍
2015/01/01 Python
python版本坑:md5例子(python2与python3中md5区别)
2017/06/20 Python
详解Python中pandas的安装操作说明(傻瓜版)
2019/04/08 Python
Python Selenium 之数据驱动测试的实现
2019/08/01 Python
css3的transform造成z-index无效解决方案
2014/12/04 HTML / CSS
希尔顿酒店官方网站:Hilton Hotels
2017/06/01 全球购物
MATCHESFASHION.COM法国官网:英国奢侈品零售商
2018/01/04 全球购物
Bally澳大利亚官网:瑞士奢侈品牌
2018/11/01 全球购物
abstract 可以和 virtual 一起使用吗?可以和 override 一起使用吗?
2012/10/15 面试题
巾帼文明岗申报材料
2014/05/01 职场文书
计生专干事迹
2014/05/28 职场文书
通信工程求职信
2014/07/16 职场文书
政风行风建设责任书
2014/07/23 职场文书
公司合并协议书范本
2014/09/30 职场文书
大学生国家助学金感谢信
2015/01/23 职场文书
nginx搭建NFS网络文件系统
2022/04/14 Servers
win10清理dns缓存
2022/04/19 数码科技
Mysql表数据比较大情况下修改添加字段的方法实例
2022/06/28 MySQL