python爬虫搭配起Bilibili唧唧的流程分析


Posted in Python onDecember 01, 2020

前言

最近需要大规模下载B站视频,同时要将下载好的视频用BV号进行重命名,最后上传至服务器。这个工作一开始我是完全手工完成的,通过游猴来下载,可是下载几十个视频还好,再多一点的话真是太烦了,而且生产力低下,因此诞生了编写脚本的想法。
一开始我需要在B站搜索关键词,然后不断点开视频后进行下载,同时在视频下载后还需要找到这个视频来修改BV号,效率实在太低,特别是当下载的视频多了,再返回来寻找它对应的BV号时也是个很繁琐的过程,因此决定进行编写python脚本。
本次的脚本可以大幅度提高工作效率,但是它并不是全自动完成任务的,毕竟我们用到了Bilibili唧唧。(唧唧真的很好用,其实也可以完全做成全自动,但我觉得没什么必要了,效率已经很高啦~)
大家如果还有什么更好的建议欢迎评论告诉我。
最后,给个赞吧,亲~

概述

简要介绍一下工作流程:
(1)通过爬虫爬取一堆视频BV号,存放于txt文件中,如下所示:

python爬虫搭配起Bilibili唧唧的流程分析

(2)不断复制BV号,唧唧便会自动进行下载视频

(3)通过脚本将下载好的视频一键化改名

python爬虫搭配起Bilibili唧唧的流程分析

正文

爬虫部分

1.依赖库

requestsl

xml

2.代码
相关讲解已在注释标注。

'''
author:Ericam
description: 用于爬取b站视频链接
'''
import requests
import re
from lxml import etree
import time

'''
该函数用于解析爬取的网页。
提取出网页里视频的url链接以及对应的视频名。
'''
def getHref(url,page):
 try:
 req = requests.get(url,timeout=5,headers=headers)
 html = req.text
 data = etree.HTML(html)
 '''
 page-1://*[@id="all-list"]/div[1]/div[2]/ul[@class="video-list"]/li
 other://*[@id="all-list"]/div[1]/ul[@class="video-list"]/li
 '''
 pattern = '//*[@id="all-list"]/div[1]/div[2]/ul[contains(@class,"video-list")]/li' if page == 1 else '//*[@id="all-list"]/div[1]/ul[contains(@class,"video-list")]/li'
 vurlList = data.xpath(pattern)
 for li in vurlList:
  vurl = li.xpath(".//a/attribute::href")[0]
  title = li.xpath(".//a/attribute::title")[0]
  yield vurl,title
 except:
 print('第%d页爬取失败' % page)
 print('Unfortunitely -- An Unknow Error Happened, Please wait 3 seconds')
 time.sleep(3)

'''
该函数用于正则提取,将url内的BV号提取出来
'''
def getBv(href):
 pattern = re.compile('(BV.*?)\?')
 data = re.search(pattern,href)
 if data == None:
 return ''
 return data.group(1)

if __name__ == "__main__":

 #头部伪装
 headers = {
 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'
 }
 hrefList = []
 titleList = []
 #需要爬取多少页,自行进行修改,本代码测试1~2页
 for i in range(1,3): 
 url = "https://search.bilibili.com/all?keyword=歪嘴战神&page={0}".format(i) #修改keyword后的关键字即可
 l = getHref(url,i)
 for vurl,title in l:
  hrefList.append(vurl)
  titleList.append(title)
 print("第{0}页爬取结束".format(i))
 time.sleep(2)
 
 print("---------------------------开始截取BV号-----------------------------")
 for i in range(len(hrefList)):
 hrefList[i] = getBv(hrefList[i])
 with open("bv.txt",'w',encoding='utf-8') as f:
 for i in range(len(hrefList)): 
  f.write(hrefList[i]+"\t"+titleList[i]+"\n")
 print("爬取结束")

3.爬取结果

python爬虫搭配起Bilibili唧唧的流程分析

唧唧下载视频

给出唧唧的链接,唧唧,很好用的小工具。
我们只需要将刚才爬取好的链接放在一边,不断复制BV号,然后唧唧进行下载即可。

python爬虫搭配起Bilibili唧唧的流程分析

视频重命名

唧唧下载好的视频如下所示:

python爬虫搭配起Bilibili唧唧的流程分析

为什么需要将它们进行改名呢,因为如果当视频数量越来越多时,比如几千几万时,通过名字便会越来越难以管理,同时也难以进行去重,很大概率会不断下载重复的视频。
在B站,BV号便是每个视频的“身份证”(主键),因此用其进行视频命名可以方便日后管理,同时也方便进行去重。

代码

'''
author:Ericam
description: 用于将下载下来的b站视频重命名,命名格式为bv号
'''
import os
import difflib

if __name__ == '__main__':
 
 bvpath = os.path.join("D:/","Coding","python","Python爬虫")
 os.chdir(bvpath)
 d = {}
 '''
 bvdownload.txt里存放bv号与title名
 若之前爬虫爬取了几千个,而唧唧只下载了几百个,便可以将这些已下载的bv和title复制到
 bvdownload.txt中,将已下载的视频进行改名
 '''
 with open("bvdownload.txt",'r',encoding='utf-8')as f:
 lines = f.readlines()
 for val in lines:
  val = val.strip("\n")
  data = val.split("\t")
  bv = data[0]
  title = data[1]
  d[title] = bv
 
 #视频存放位置
 path = 'F:/bilibili视频/'
 os.chdir(path)
 videoList = os.listdir()
 
 #开始进行模糊匹配
 for key in d:
 video = difflib.get_close_matches(key,videoList,1, cutoff=0.3)
 if len(video) == 0:
  continue
 video = video[0]
 #检查视频是否已存在,若存在则删除视频
 if os.path.isfile(d[key]+".mp4") and os.path.isfile(video):
  os.remove(video)
 else:
  if os.path.isfile(video):
  os.rename(video,d[key]+".mp4")
 print("重命名完成!")

结果演示

重命名完成的视频列表如下:

python爬虫搭配起Bilibili唧唧的流程分析

到此这篇关于python爬虫搭配起Bilibili唧唧的流程分析的文章就介绍到这了,更多相关python爬虫Bilibili内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python机器学习logistic回归代码解析
Jan 17 Python
Python cookbook(数据结构与算法)从字典中提取子集的方法示例
Mar 22 Python
如何使用 Pylint 来规范 Python 代码风格(来自IBM)
Apr 06 Python
pandas每次多Sheet写入文件的方法
Dec 10 Python
Python实现将多个空格换为一个空格.md的方法
Dec 20 Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 Python
Python基础学习之函数方法实例详解
Jun 18 Python
python模块常用用法实例详解
Oct 17 Python
Python算法的时间复杂度和空间复杂度(实例解析)
Nov 19 Python
python实现最速下降法
Mar 24 Python
python try...finally...的实现方法
Nov 25 Python
pytorch Dropout过拟合的操作
May 27 Python
python爬虫看看虎牙女主播中谁最“顶”步骤详解
Dec 01 #Python
详解Django自定义图片和文件上传路径(upload_to)的2种方式
Dec 01 #Python
使用python爬取抖音app视频的实例代码
Dec 01 #Python
基于Python实现粒子滤波效果
Dec 01 #Python
Django集成MongoDB实现过程解析
Dec 01 #Python
基于Django快速集成Echarts代码示例
Dec 01 #Python
Python更改pip镜像源的方法示例
Dec 01 #Python
You might like
php可应用于面包屑导航的递归寻找家谱树实现方法
2015/02/02 PHP
windows8.1下Apache+Php+MySQL配置步骤
2015/10/30 PHP
WordPress中制作导航菜单的PHP核心方法讲解
2015/12/11 PHP
php Session无效分析资料整理
2016/11/29 PHP
PHP面向对象程序设计之接口的继承定义与用法详解
2018/12/20 PHP
php 命名空间(namespace)原理与用法实例小结
2019/11/13 PHP
JS获取客户端IP地址、MAC和主机名的7个方法汇总
2014/07/21 Javascript
常用DOM整理
2015/06/16 Javascript
jQuery CSS3相结合实现时钟插件
2016/01/08 Javascript
详解jQuery中的empty、remove和detach
2016/04/11 Javascript
JS获取随机数和时间转换的简单实例
2016/07/10 Javascript
JS中对数组元素进行增删改移的方法总结
2016/12/15 Javascript
了解VUE的render函数的使用
2017/06/08 Javascript
jQuery+SpringMVC中的复选框选择与传值实例
2018/01/08 jQuery
JavaScript 斐波那契数列 倒序输出 输出100以内的质数代码实例
2019/09/11 Javascript
Python实现连接postgresql数据库的方法分析
2017/12/27 Python
Python实现简单生成验证码功能【基于random模块】
2018/02/10 Python
Python爬虫包BeautifulSoup实例(三)
2018/06/17 Python
Python连接mysql数据库及简单增删改查操作示例代码
2020/08/03 Python
Ticketmaster德国票务网站:购买音乐会和体育等门票
2016/11/14 全球购物
捷克体育用品购物网站:D-sport
2017/12/28 全球购物
即时搜索数百万张门票:SeatsForEveryone.com
2018/08/26 全球购物
毕业自荐信
2013/12/16 职场文书
军训 自我鉴定
2014/02/03 职场文书
医院工作检讨书范文
2014/02/10 职场文书
班主任对学生的评语
2014/04/26 职场文书
小学德育工作经验交流材料
2014/05/22 职场文书
阳光体育活动实施方案
2014/05/25 职场文书
乡党委干部党的群众路线教育实践活动个人对照检查材料思想汇报
2014/10/01 职场文书
营销与策划实训报告
2014/11/05 职场文书
2017元旦晚会开幕词
2016/03/03 职场文书
2016秋季运动会开幕词
2016/03/04 职场文书
pandas:get_dummies()与pd.factorize()的用法及区别说明
2021/05/21 Python
MongoDB数据库常用的10条操作命令
2021/06/18 MongoDB
SpringBoot整合MongoDB的实现步骤
2021/06/23 MongoDB
在Centos 8.0中安装Redis服务器的教程详解
2022/03/21 Redis