使用selenium抓取淘宝的商品信息实例


Posted in Javascript onFebruary 06, 2018

淘宝的页面大量使用了js加载数据,所以采用selenium来进行爬取更为简单,selenum作为一个测试工具,主要配合无窗口浏览器phantomjs来使用。

import re
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
'''
wait.until()语句是selenum里面的显示等待,wait是一个WebDriverWait对象,它设置了等待时间,如果页面在等待时间内
没有在 DOM中找到元素,将继续等待,超出设定时间后则抛出找不到元素的异常,也可以说程序每隔xx秒看一眼,如果条件
成立了,则执行下一步,否则继续等待,直到超过设置的最长时间,然后抛出TimeoutException
1.presence_of_element_located 元素加载出,传入定位元组,如(By.ID, 'p')
2.element_to_be_clickable 元素可点击
3.text_to_be_present_in_element 某个元素文本包含某文字
'''
# 定义一个无界面的浏览器
browser = webdriver.PhantomJS(
 service_args=[
  '--load-images=false',
  '--disk-cache=true'])
# 10s无响应就down掉
wait = WebDriverWait(browser, 10)
#虽然无界面但是必须要定义窗口
browser.set_window_size(1400, 900)

def search():
 '''
 此函数的作用为完成首页点击搜索的功能,替换标签可用于其他网页使用
 :return:
 '''
 print('正在搜索')
 try:
  #访问页面
  browser.get('https://www.taobao.com')
  # 选择到淘宝首页的输入框
  input = wait.until(
   EC.presence_of_element_located((By.CSS_SELECTOR, '#q'))
  )
  #搜索的那个按钮
  submit = wait.until(EC.element_to_be_clickable(
   (By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))
  #send_key作为写到input的内容
  input.send_keys('面条')
  #执行点击搜索的操作
  submit.click()
  #查看到当前的页码一共是多少页
  total = wait.until(EC.presence_of_element_located(
   (By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.total')))
  #获取所有的商品
  get_products()
  #返回总页数
  return total.text
 except TimeoutException:
  return search()

def next_page(page_number):
 '''
 翻页函数,
 :param page_number:
 :return:
 '''
 print('正在翻页', page_number)
 try:
  #这个是我们跳转页的输入框
  input = wait.until(EC.presence_of_element_located(
   (By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > input')))
  #跳转时的确定按钮
  submit = wait.until(
   EC.element_to_be_clickable(
    (By.CSS_SELECTOR,
     '#mainsrp-pager > div > div > div > div.form > span.J_Submit')))
  #清除里面的数字
  input.clear()
  #重新输入数字
  input.send_keys(page_number)
  #选择并点击
  submit.click()
  #判断当前页是不是我们要现实的页
  wait.until(
   EC.text_to_be_present_in_element(
    (By.CSS_SELECTOR,
     '#mainsrp-pager > div > div > div > ul > li.item.active > span'),
    str(page_number)))
  #调用函数获取商品信息
  get_products()
 #捕捉超时,重新进入翻页的函数
 except TimeoutException:
  next_page(page_number)

def get_products():
 '''
 搜到页面信息在此函数在爬取我们需要的信息
 :return:
 '''
 #每一个商品标签,这里是加载出来以后才会拿网页源代码
 wait.until(EC.presence_of_element_located(
  (By.CSS_SELECTOR, '#mainsrp-itemlist .items .item')))
 #这里拿到的是整个网页源代码
 html = browser.page_source
 #pq解析网页源代码
 doc = pq(html)
 items = doc('#mainsrp-itemlist .items .item').items()
 for item in items:
  # print(item)
  product = {
   'image': item.find('.pic .img').attr('src'),
   'price': item.find('.price').text(),
   'deal': item.find('.deal-cnt').text()[:-3],
   'title': item.find('.title').text(),
   'shop': item.find('.shop').text(),
   'location': item.find('.location').text()
  }
  print(product)

def main():
 try:
  #第一步搜索
  total = search()
  #int类型刚才找到的总页数标签,作为跳出循环的条件
  total = int(re.compile('(\d+)').search(total).group(1))
  #只要后面还有就继续爬,继续翻页
  for i in range(2, total + 1):
   next_page(i)
 except Exception:
  print('出错啦')
 finally:
  #关闭浏览器
  browser.close()

if __name__ == '__main__':
 main()

以上这篇使用selenium抓取淘宝的商品信息实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
javascript 文档的编码问题解决
Mar 01 Javascript
JavaScript 浏览器验证代码(来自discuz)
Jul 17 Javascript
jQuery旋转插件—rotate支持(ie/Firefox/SafariOpera/Chrome)
Jan 16 Javascript
javascript代码运行不出来执行错误的可能情况整理
Oct 18 Javascript
关闭ie窗口清除Session的解决方法
Jan 10 Javascript
基于JQuery实现的Select级联
Jan 27 Javascript
Angular中的Promise对象($q介绍)
Mar 03 Javascript
纯JavaScript实现的兼容各浏览器的添加和移除事件封装
Mar 28 Javascript
AngularJS使用ngMessages进行表单验证
Dec 27 Javascript
js 动态生成json对象、时时更新json对象的方法
Dec 02 Javascript
基于Vue实例生命周期(全面解析)
Aug 16 Javascript
React 使用recharts实现散点地图的示例代码
Dec 07 Javascript
vue一个页面实现音乐播放器的示例
Feb 06 #Javascript
使用百度地图实现地图网格的示例
Feb 06 #Javascript
js中的闭包学习心得
Feb 06 #Javascript
JS基于设计模式中的单例模式(Singleton)实现封装对数据增删改查功能
Feb 06 #Javascript
Vue仿今日头条实例详解
Feb 06 #Javascript
electron demo项目npm install安装失败的解决方法
Feb 06 #Javascript
详解React开发必不可少的eslint配置
Feb 05 #Javascript
You might like
记录mysql性能查询过程的使用方法
2013/05/02 PHP
PHP过滤黑名单关键字的方法
2014/12/01 PHP
thinkphp3.2.2实现生成多张缩略图的方法
2014/12/19 PHP
php定时执行任务设置详解
2015/02/06 PHP
PHP正则匹配日期和时间(时间戳转换)的实例代码
2016/12/14 PHP
laravel 解决paginate查询多个字段报错的问题
2019/10/22 PHP
JavaScript this 深入理解
2009/07/30 Javascript
学习ExtJS(一) 之基础前提
2009/10/07 Javascript
javascript控制层显示或隐藏的方法
2015/07/22 Javascript
纯js模拟div层弹性运动的方法
2015/07/27 Javascript
JavaScript中对DOM节点的访问、创建、修改、删除
2015/11/16 Javascript
jquery实现横向图片轮播特效代码分享
2015/11/19 Javascript
jQuery ajax方法传递中文时出现中文乱码的解决方法
2016/07/25 Javascript
javascript数据结构中栈的应用之符号平衡问题
2017/04/11 Javascript
使用vue-router设置每个页面的title方法
2018/02/11 Javascript
如何通过setTimeout理解JS运行机制详解
2019/03/23 Javascript
vue学习笔记之Vue中css动画原理简单示例
2020/02/29 Javascript
用jQuery实现抽奖程序
2020/04/12 jQuery
JavaScript字符串转数字的简单实现方法
2020/11/27 Javascript
Python中的字符串操作和编码Unicode详解
2017/01/18 Python
matplotlib绘图实例演示标记路径
2018/01/23 Python
python判断一个数是否能被另一个整数整除的实例
2018/12/12 Python
Pytorch卷积层手动初始化权值的实例
2019/08/17 Python
简单了解django文件下载方式
2020/02/10 Python
python实现吃苹果小游戏
2020/03/21 Python
如何给HTML标签中的文本设置修饰线
2019/11/18 HTML / CSS
网络专业学生个人的自我评价
2013/12/16 职场文书
学生会主席就职演讲稿
2014/01/14 职场文书
会计电算化毕业生自荐信
2014/03/03 职场文书
党员岗位承诺书
2014/03/25 职场文书
论文指导教师评语
2014/04/28 职场文书
学籍证明模板
2014/11/21 职场文书
客服专员岗位职责范本
2015/04/07 职场文书
2015年物业管理工作总结
2015/04/23 职场文书
2016年小学中秋节活动总结
2016/04/05 职场文书
pytorch 中nn.Dropout的使用说明
2021/05/20 Python