python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
github配置使用指南
Nov 18 Python
Python模拟登录验证码(代码简单)
Feb 06 Python
使用python3.5仿微软记事本notepad
Jun 15 Python
django之使用celery-把耗时程序放到celery里面执行的方法
Jul 12 Python
Python企业编码生成系统之系统主要函数设计详解
Jul 26 Python
python监控nginx端口和进程状态
Sep 06 Python
Python命令行参数解析工具 docopt 安装和应用过程详解
Sep 26 Python
Windows 下python3.8环境安装教程图文详解
Mar 11 Python
如何用Python 加密文件
Sep 10 Python
解决Django transaction进行事务管理踩过的坑
Apr 24 Python
python 实现图与图之间的间距调整subplots_adjust
May 21 Python
pycharm部署django项目到云服务器的详细流程
Jun 29 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
模板引擎smarty工作原理以及使用示例
2014/05/25 PHP
php实现的支持imagemagick及gd库两种处理的缩略图生成类
2014/09/23 PHP
Mac系统下使用brew搭建PHP(LNMP/LAMP)开发环境
2015/03/03 PHP
PHP读MYSQL中文乱码的快速解决方法
2016/10/01 PHP
layui框架实现文件上传及TP3.2.3(thinkPHP)对上传文件进行后台处理操作示例
2018/05/12 PHP
javascript innerText和innerHtml应用
2010/01/28 Javascript
高效的jquery数字滚动特效
2015/12/17 Javascript
使用Function.apply()的参数数组化来提高 JavaScript程序性能的技巧
2015/12/23 Javascript
JavaScript比较两个数组的内容是否相同(推荐)
2017/05/02 Javascript
Node.js实现文件上传的示例
2017/06/28 Javascript
React学习笔记之事件处理(二)
2017/07/02 Javascript
原生JS+Canvas实现五子棋游戏
2020/05/28 Javascript
AngularJs分页插件使用详解
2018/06/30 Javascript
vue计算属性computed、事件、监听器watch的使用讲解
2019/01/21 Javascript
Vue实现一个图片懒加载插件
2019/03/11 Javascript
Vue跨域请求问题解决方案过程解析
2020/08/07 Javascript
vue开发chrome插件,实现获取界面数据和保存到数据库功能
2020/12/01 Vue.js
[02:27]DOTA2英雄基础教程 莱恩
2014/01/17 DOTA
[04:10]DOTA2英雄梦之声_第11期_圣堂刺客
2014/06/21 DOTA
[01:02:00]DOTA2-DPC中国联赛 正赛 Elephant vs IG BO3 第三场 1月24日
2021/03/11 DOTA
python中实现定制类的特殊方法总结
2014/09/28 Python
python OpenCV学习笔记之绘制直方图的方法
2018/02/08 Python
浅谈python配置与使用OpenCV踩的一些坑
2018/04/02 Python
详谈套接字中SO_REUSEPORT和SO_REUSEADDR的区别
2018/04/28 Python
python 寻找离散序列极值点的方法
2019/07/10 Python
Python基础之变量基本用法与进阶详解
2020/01/03 Python
TensorFlow实现从txt文件读取数据
2020/02/05 Python
Python中格式化字符串的四种实现
2020/05/26 Python
python安装后的目录在哪里
2020/06/21 Python
boostrap modal 闪现问题的解决方法
2020/09/01 HTML / CSS
军训 自我鉴定
2014/02/03 职场文书
音乐教师求职信范文
2015/03/20 职场文书
考勤制度通知
2015/04/25 职场文书
党支部审查意见
2015/06/02 职场文书
关于观后感的作文
2015/06/18 职场文书
导游词之安徽九华山
2019/09/18 职场文书