python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
跟老齐学Python之做一个小游戏
Sep 28 Python
Python全局变量操作详解
Apr 14 Python
详解python如何调用C/C++底层库与互相传值
Aug 10 Python
在python的类中动态添加属性与生成对象
Sep 17 Python
python 实现创建文件夹和创建日志文件的方法
Jul 07 Python
python中update的基本使用方法详解
Jul 17 Python
Django认证系统实现的web页面实现代码
Aug 12 Python
Python中的 ansible 动态Inventory 脚本
Jan 19 Python
完美解决pycharm导入自己写的py文件爆红问题
Feb 12 Python
pycharm无法导入本地模块的解决方式
Feb 12 Python
python算的上脚本语言吗
Jun 22 Python
浅谈Python 命令行参数argparse写入图片路径操作
Jul 12 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
ASP和PHP都是可以删除自身的
2007/04/09 PHP
解析php中如何直接执行SHELL
2013/06/28 PHP
PHP中怎样保持SESSION不过期 原理及方案介绍
2013/08/08 PHP
PHP生成短网址的3种方法代码实例
2014/07/08 PHP
php使用pdo连接并查询sql数据库的方法
2014/12/24 PHP
解决更换PHP5.4以上版本后Dedecms后台登录空白问题的方法
2015/10/23 PHP
Stop SQL Server
2007/06/21 Javascript
走出JavaScript初学困境—js初学
2008/12/29 Javascript
javascript showModalDialog模态对话框使用说明
2009/12/31 Javascript
JavaScript之自定义类型
2012/05/04 Javascript
深入理解JavaScript中的对象
2015/06/04 Javascript
js仿苹果iwatch外观的计时器代码分享
2015/08/26 Javascript
js判断手机访问或者PC的几个例子(常用于手机跳转)
2015/12/15 Javascript
bootstrap和jQuery.Gantt的css冲突 如何解决
2016/05/29 Javascript
原生JS实现风箱式demo,并封装了一个运动框架(实例代码)
2016/07/22 Javascript
JS简单实现表格排序功能示例
2016/12/20 Javascript
JavaScript函数节流的两种写法
2017/04/07 Javascript
基于jQuery实现无缝轮播与左右点击效果
2018/05/13 jQuery
vue 录制视频并压缩视频文件的方法
2018/07/27 Javascript
vue学习笔记五:在vue项目里面使用引入公共方法详解
2019/04/04 Javascript
[58:59]完美世界DOTA2联赛PWL S3 access vs CPG 第一场 12.13
2020/12/16 DOTA
详解Python中的日志模块logging
2015/06/19 Python
Python简明入门教程
2015/08/04 Python
Python结巴中文分词工具使用过程中遇到的问题及解决方法
2017/04/15 Python
python实现简单图书管理系统
2019/11/22 Python
Jupyter notebook无法导入第三方模块的解决方式
2020/04/15 Python
Sephora丝芙兰菲律宾官方网站:购买化妆品和护肤品
2017/04/05 全球购物
NBA欧洲商店(西班牙):NBA Europe Store ES
2019/04/16 全球购物
英国家具、照明、家居用品网上商店:Wayfair.co.uk
2020/02/13 全球购物
国际花店:Pickup Flowers
2020/04/10 全球购物
招聘专员岗位职责
2014/03/07 职场文书
酒店管理专业毕业生求职自荐信
2014/04/28 职场文书
应届大专生自荐书
2014/06/16 职场文书
债务授权委托书范本
2014/10/17 职场文书
2015元旦晚会主持人开场白+结束语
2014/12/14 职场文书
MySQL下使用Inplace和Online方式创建索引的教程
2021/05/26 MySQL