python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
简单的抓取淘宝图片的Python爬虫
Dec 25 Python
python实现windows壁纸定期更换功能
Jan 21 Python
简单了解python反射机制的一些知识
Jul 13 Python
python中用logging实现日志滚动和过期日志删除功能
Aug 20 Python
关于numpy中eye和identity的区别详解
Nov 29 Python
tensorflow之获取tensor的shape作为max_pool的ksize实例
Jan 04 Python
Python Numpy 控制台完全输出ndarray的实现
Feb 19 Python
解决django xadmin主题不显示和只显示bootstrap2的问题
Mar 30 Python
python 安装移动复制第三方库操作
Jul 13 Python
Python GUI之tkinter窗口视窗教程大集合(推荐)
Oct 20 Python
Python上下文管理器Content Manager
Jun 26 Python
Python实现照片卡通化
Dec 06 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
实现树状结构的两种方法
2006/10/09 PHP
PHP判断表单复选框选中状态完整例子
2014/06/24 PHP
PHP的pcntl多进程用法实例
2015/03/19 PHP
php通过exif_read_data函数获取图片的exif信息
2015/05/21 PHP
thinkPHP连接sqlite3数据库的实现方法(附Thinkphp代码生成器下载)
2016/05/27 PHP
PHP实现的基于单向链表解决约瑟夫环问题示例
2017/09/30 PHP
PHP使用星号替代用户名手机和邮箱的实现代码
2018/02/07 PHP
极酷的javascirpt,让你随意编辑任何网页
2007/02/25 Javascript
发两个小东西,ASP/PHP 学习工具。 用JavaScript写的
2007/04/12 Javascript
JavaScript 动态创建VML的方法
2009/10/14 Javascript
js简单实现交换Li的值
2014/05/22 Javascript
理解Angular数据双向绑定
2016/01/10 Javascript
javaScript知识点总结(必看篇)
2016/06/10 Javascript
jQuery插件uploadify实现ajax效果的图片上传
2016/06/18 Javascript
canvas实现绘制吃豆鱼效果
2017/01/12 Javascript
详解Vue.js组件可复用性的混合(mixin)方式和自定义指令
2017/09/06 Javascript
Vue 仿QQ左滑删除组件功能
2018/03/12 Javascript
vue-router3.0版本中 router.push 不能刷新页面的问题
2018/05/10 Javascript
JQuery样式操作、click事件以及索引值-选项卡应用示例
2019/05/14 jQuery
微信小程序canvas实现签名功能
2021/01/19 Javascript
[01:13:59]LGD vs Mineski Supermajor 胜者组 BO3 第三场 6.5
2018/06/06 DOTA
Python2.5/2.6实用教程 入门基础篇
2009/11/29 Python
python实现字符串加密成纯数字
2019/03/19 Python
TensorFlow 输出checkpoint 中的变量名与变量值方式
2020/02/11 Python
使用python批量转换文件编码为UTF-8的实现
2020/04/03 Python
时尚设计师手表:The Watch Cabin
2018/10/06 全球购物
现代生活方式的家具和装饰:Dot & Bo
2018/12/26 全球购物
如何在Oracle中查看各个表、表空间占用空间的大小
2015/10/31 面试题
艺术设计专业个人求职信
2013/09/21 职场文书
办公文员的工作岗位职责
2013/11/12 职场文书
银行工作检查书范文
2014/01/31 职场文书
国企干部对照检查材料
2014/08/22 职场文书
2014年师德师风工作总结
2014/11/25 职场文书
清明扫墓感想
2015/08/11 职场文书
出纳2015年度工作总结范文
2015/10/14 职场文书
Ruby GDBM操作简介及数据存储原理
2022/04/19 Ruby