python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python Tkinter简单布局实例教程
Sep 03 Python
Python遍历指定文件及文件夹的方法
May 09 Python
Python实现多属性排序的方法
Dec 05 Python
python调用staf自动化框架的方法
Dec 26 Python
在Python中构建增广矩阵的实现方法
Jul 01 Python
简单了解python 生成器 列表推导式 生成器表达式
Aug 22 Python
用Python画一个LinkinPark的logo代码实例
Sep 10 Python
python编写俄罗斯方块
Mar 13 Python
哈工大自然语言处理工具箱之ltp在windows10下的安装使用教程
May 07 Python
Python configparser模块封装及构造配置文件
Aug 07 Python
详解python第三方库的安装、PyInstaller库、random库
Mar 03 Python
Python代码风格与编程习惯重要吗?
Jun 03 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
PHP中文汉字验证码
2007/04/08 PHP
PHP5.4中json_encode中文转码的变化小结
2013/01/30 PHP
php数组转换js数组操作及json_encode的用法详解
2013/10/26 PHP
PHP实现根据时间戳获取周几的方法
2016/02/26 PHP
jQuery实现图片信息的浮动显示实例代码
2013/08/28 Javascript
制作jquery遮罩层效果导航菜单代码分享
2013/12/25 Javascript
每天一篇javascript学习小结(属性定义方法)
2015/11/19 Javascript
学习JavaScript设计模式(代理模式)
2015/12/03 Javascript
javascript截图 jQuery插件imgAreaSelect使用详解
2016/05/04 Javascript
纯JS代码实现气泡效果
2016/05/04 Javascript
浅谈javascript中的Function和Arguments
2016/08/30 Javascript
AngularJS使用带属性值的ng-app指令实现自定义模块自动加载的方法
2017/01/04 Javascript
jQuery实现的分页功能示例
2017/01/22 Javascript
jquery实现超简单的瀑布流布局【推荐】
2017/03/08 Javascript
JS实现合并json对象的方法
2017/10/10 Javascript
详解vue 兼容IE报错解决方案
2018/12/29 Javascript
详解简单易懂的 ES6 Iterators 指南和示例
2019/09/24 Javascript
django2 快速安装指南分享
2018/01/05 Python
python按时间排序目录下的文件实现方法
2018/10/17 Python
python numpy数组的索引和切片的操作方法
2018/10/20 Python
Django 实现xadmin后台菜单改为中文
2019/11/15 Python
Python接口自动化测试的实现
2020/08/28 Python
使用CSS3编写类似iOS中的复选框及带开关的按钮
2016/04/11 HTML / CSS
网上卖盒饭创业计划书范文
2014/02/07 职场文书
法人授权委托书范本
2014/04/04 职场文书
触电现场处置方案
2014/05/14 职场文书
政府领导干部个人对照检查材料思想汇报
2014/09/24 职场文书
2014年采购部工作总结
2014/11/20 职场文书
优秀教师申报材料
2014/12/16 职场文书
现实表现材料范文
2014/12/23 职场文书
社区艾滋病宣传活动总结
2015/05/07 职场文书
红高粱观后感
2015/06/10 职场文书
2016年优秀共产党员先进事迹材料
2016/02/29 职场文书
MySQL基础(一)
2021/04/05 MySQL
手把手教你实现PyTorch的MNIST数据集
2021/06/28 Python
vue项目支付功能代码详解
2022/02/18 Vue.js