首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

利用Python网络爬虫爬取各大音乐评论的代码

Posted in Python onApril 13, 2021

 python爬虫--爬取网易云音乐评论

方1：使用selenium模块，简单粗暴。但是虽然方便但是缺点也是很明显，运行慢等等等。
方2：常规思路：直接去请求服务器

1.简易看出评论是动态加载的，一定是ajax方式。

2.通过网络抓包，可以找出评论请求的的URL

利用Python网络爬虫爬取各大音乐评论的代码

得到请求的URL

利用Python网络爬虫爬取各大音乐评论的代码

3.去查看post请求所上传的数据

利用Python网络爬虫爬取各大音乐评论的代码

显然是经过加密的，现在就需要按着网易的思路去解读加密过程，然后进行模拟加密。

4.首先去查看请求是经过那些js到达服务器的

利用Python网络爬虫爬取各大音乐评论的代码

5.设置断点：依次对所发送的内容进行观察，找到评论对应的URL

利用Python网络爬虫爬取各大音乐评论的代码
利用Python网络爬虫爬取各大音乐评论的代码
利用Python网络爬虫爬取各大音乐评论的代码

6.查找加密函数

利用Python网络爬虫爬取各大音乐评论的代码

（忽略查找过程）找到：加密函数在

利用Python网络爬虫爬取各大音乐评论的代码

通过查找，找到加密函数具体位置：

利用Python网络爬虫爬取各大音乐评论的代码

7.解读加密函数

运用的是AES，模式是：CBC

function a(a) { a=16
        var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = "";
        for (d = 0; a > d; d += 1)
            e = Math.random() * b.length, #生成随机数
            e = Math.floor(e), #取整
            c += b.charAt(e); #取出b中对应位置的字符
        return c
    }
    function b(a, b) {
        var c = CryptoJS.enc.Utf8.parse(b)
          , d = CryptoJS.enc.Utf8.parse("0102030405060708")
          , e = CryptoJS.enc.Utf8.parse(a) #e是数据
          , f = CryptoJS.AES.encrypt(e, c, { #c就是加密密钥 
            iv: d, #iv是偏移量
            mode: CryptoJS.mode.CBC # 模式：CBC加密
        });
        return f.toString()
    }
    function c(a, b, c) {
        var d, e;
        return setMaxDigits(131),
        d = new RSAKeyPair(b,"",c),
        e = encryptedString(d, a)
    }
    function d(d, e, f, g) { d：数据json串  e:"010001" f:   g = "0CoJUm6Qyw8W8jud"
        var h = {}
          , i = a(16); #16位随机值
        return h.encText = b(d, g), g是密钥
        h.encText = b(h.encText, i), #返回的就是params i是密钥
        h.encSecKey = c(i, e, f), #返回的是encSecKey e和f定死，能产生变数的只能是i
        h
    function e(a, b, d, e) {
        var f = {};
        return f.encText = c(a + e, b, d),
        f
    }
    window.asrsea = d

解读该过程即可：代码有注释。

8.参数如何获得：

function d(d, e, f, g) { d：数据json串  e:"010001" f:   g = "0CoJUm6Qyw8W8jud"


 var bZe2x = window.asrsea(JSON.stringify(i4m), brx6r(["流泪", "强"]), brx6r(Sc1x.md), brx6r(["爱心", "女孩", "惊恐", "大笑"]));

#使用网页控制台:发现都为定值;

利用Python网络爬虫爬取各大音乐评论的代码

9.这时只需找到某一个i以及它对应的encSecKey 即可完成服务器的验证

利用Python网络爬虫爬取各大音乐评论的代码

拿到该值之后开始编写代码

全部代码粘贴

#1.找到未加密的参数        #通过函数window.asrsea()进行加密
#2.想办法把参数进行加密，params--->encText  encSecKey--->encSecKey

from Cryptodome.Cipher import AES
from base64 import b64encode
import requests,json



e = "010001"
f = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
g = "0CoJUm6Qyw8W8jud"
i = "0hyFaCNAVzOIdoht"

url = 'https://music.163.com/weapi/comment/resource/comments/get?csrf_token='
headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
    }

def get_encSecKey():
    return "4022359ea3110bcd034e0160c3b89e5e172fd0110a3cf765d9f366d9fd09840a1f4a4705ac43719fdb8bfeb44d3b92334733061ad10942131184a4dfba0ac9d2cf867b8b6236523c1ca5f44c0d2d82c1c2665a3137a9241c7373539c1aa8e5e9bb9d33dafc764b5d76c2ab34fc94df85e27a934c8a603fa713f2cf38c2b7bbae"

def get_params(data): #data默认是json字符串
    first = enc_params(data,g)
    second = enc_params(first,i)
    return second

def to_16(data):
    pad = 16-len(data)%16
    data +=chr(pad) * pad
    return data

def enc_params(data,key): #加密过程
    iv = "0102030405060708"
    data = to_16(data)
    aes = AES.new(key=key.encode('utf-8'),IV=iv.encode('utf-8'),mode=AES.MODE_CBC) #创建加密器
    bs = aes.encrypt(data.encode('utf-8')) #加密
    return str(b64encode(bs),"utf-8") #转化成字符串

#处理加密过程
'''
 function a(a) { a=16
        var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = "";
        for (d = 0; a > d; d += 1)
            e = Math.random() * b.length, #生成随机数
            e = Math.floor(e), #取整
            c += b.charAt(e); #取出b中对应位置的字符
        return c
    }
    function b(a, b) {
        var c = CryptoJS.enc.Utf8.parse(b)
          , d = CryptoJS.enc.Utf8.parse("0102030405060708")
          , e = CryptoJS.enc.Utf8.parse(a) #e是数据
          , f = CryptoJS.AES.encrypt(e, c, { #c就是加密密钥 
            iv: d, #iv是偏移量
            mode: CryptoJS.mode.CBC # 模式：CBC加密
        });
        return f.toString()
    }
    function c(a, b, c) {
        var d, e;
        return setMaxDigits(131),
        d = new RSAKeyPair(b,"",c),
        e = encryptedString(d, a)
    }
    function d(d, e, f, g) { d：数据json串  e:"010001" f:   g = "0CoJUm6Qyw8W8jud"
        var h = {}
          , i = a(16); #16位随机值
        return h.encText = b(d, g), g是密钥
        h.encText = b(h.encText, i), #返回的就是params i是密钥
        h.encSecKey = c(i, e, f), #返回的是encSecKey e和f定死，能产生变数的只能是i
        h
    }'''
if __name__ == '__main__':

    page = int(input('请输入需要爬取的页数：'))
    print('开始爬虫！！！')
    fp = open('./网易云评论.txt', 'w', encoding='utf-8')
    for j in range(1,page+1):
        page_num = str(j*20)
        data = {
            'csrf_token': "",
            'cursor': "-1",
            'offset': "0",
            'orderType': "1",
            'pageNo': "1",
            'pageSize': page_num,
            'rid': "R_SO_4_1376142151",
            'threadId': "R_SO_4_1376142151"
        }

        response = requests.post(url,data={
            "params":get_params(json.dumps(data)),
            "encSecKey":get_encSecKey()
        },headers=headers)


        result = json.loads(response.content.decode('utf-8'))
        #hotComments
        for hot in range(len(result['data']['hotComments'])):
            fp.write('hotComments' + ' ')
            fp.write('昵称：' + result['data']['hotComments'][hot]['user']['nickname'] + '\n')
            fp.write('评论：' + result['data']['hotComments'][hot]['content'] + '\n')

            if result['data']['hotComments'][hot]['user']['vipRights'] == None:
                fp.write('vip:yes' + '\n')
            else:
                fp.write('vip:no' + '\n')
            fp.write('点赞数' + str(result['data']['hotComments'][hot]['likedCount']) + '\n')
            fp.write('-------------------------------------' + '\n')

        #print(result['data']['hotComments'][1]['user']['nickname'])

        #comments
        for r in range(20):
            fp.write('comments')
            fp.write('昵称：'+result['data']['comments'][r]['user']['nickname']+'\n')
            fp.write('评论：'+result['data']['comments'][r]['content']+'\n')

            if result['data']['comments'][r]['user']['vipRights'] == None:
                fp.write('vip:yes'+'\n')
            else:
                fp.write('vip:no'+'\n')
            fp.write('点赞数'+str(result['data']['comments'][r]['likedCount'])+'\n')
            fp.write('-------------------------------------'+'\n')
    print('爬取完毕！！！')

效果图

利用Python网络爬虫爬取各大音乐评论的代码

通过这次爬虫实验，在爬取的过程中，遇到各种困难，收货很多。掌握遇到加密，该如何处理的步骤，以及拓宽自己的思路，去运用各种工具。以及各种自己想不到的思路。最起码，下次遇到如此加密的数据获取，心里有了一些底气。
也了解了大互联网公司对数据进行加密的一种方式，以及网页运作的更深一步的了解，受益颇多。

到此这篇关于如何用Python网络爬虫爬取网易云音乐评论的文章就介绍到这了,更多相关python爬取网易云音乐评论内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木！

利用Python网络爬虫爬取各大音乐评论的代码

- Author -

南岸青栀*

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python 域名分析工具实现代码
Jul 15 Python
利用Psyco提升Python运行速度
Dec 24 Python
利用Python和OpenCV库将URL转换为OpenCV格式的方法
Mar 27 Python
详解Python程序与服务器连接的WSGI接口
Apr 29 Python
Python脚本处理空格的方法
Aug 08 Python
Python中的TCP socket写法示例
May 11 Python
windows下cx_Freeze生成Python可执行程序的详细步骤
Oct 09 Python
浅谈python中拼接路径os.path.join斜杠的问题
Oct 23 Python
python多线程下信号处理程序示例
May 31 Python
python通过nmap扫描在线设备并尝试AAA登录(实例代码)
Dec 30 Python
浅谈Python3实现两个矩形的交并比(IoU)
Jan 18 Python
python numpy库np.percentile用法说明
Jun 08 Python
用Python制作灯光秀短视频的思路详解
python实现socket简单通信的示例代码
使用Selenium实现微博爬虫(预登录、展开全文、翻页)
python用字节处理文件实例讲解
Apr 13 #Python
Python中相见恨晚的技巧
Apr 13 #Python
利用python做表格数据处理
python glom模块的使用简介
Apr 13 #Python
驱动模型(1) Scheduled(1) 分区(2) 接口(1) 扫雷(1) 乱码(3) router(1) Date(1) 抽象类(1) 路由(1)
You might like
PHP常用的三种设计模式
2017/02/17 PHP
php判断str字符串是否是xml格式数据的方法示例
2017/07/26 PHP
PHP去除空数组且数组键名重置的讲解
2019/02/28 PHP
PHP实现统计代码行数小工具
2019/09/19 PHP
JS如何判断移动端访问设备并解析对应CSS
2013/11/27 Javascript
Javasipt:操作radio标签详解
2013/12/30 Javascript
JavaScript函数参数使用带参数名的方式赋值传入的方法
2015/03/19 Javascript
js如何改变文章的字体大小
2016/01/08 Javascript
教你如何在Node.js中使用jQuery
2016/08/28 Javascript
Angular2表单自定义验证器的实现
2016/10/19 Javascript
基于JS实现弹出一个隐藏的div窗口body页面变成灰色并且不可被编辑
2016/12/14 Javascript
js实现登录验证码
2016/12/22 Javascript
如何使用Bootstrap 按钮实例详解
2017/03/29 Javascript
微信JSSDK调用微信扫一扫功能的方法
2017/07/25 Javascript
使用JS组件实现带ToolTip验证框的实例代码
2017/08/23 Javascript
iview的table组件自带的过滤器实现
2019/07/12 Javascript
vue使用prop可以渲染但是打印台报错的解决方式
2019/11/13 Javascript
vue基于better-scroll实现左右联动滑动页面
2020/06/30 Javascript
python网络编程学习笔记(10)：webpy框架
2014/06/09 Python
Python中 Lambda表达式全面解析
2016/11/28 Python
Python实现希尔排序算法的原理与用法实例分析
2017/11/23 Python
python 将json数据提取转化为txt的方法
2018/10/26 Python
python模糊图片过滤的方法
2018/12/14 Python
python 将大文件切分为多个小文件的实例
2019/01/14 Python
Python饼状图的绘制实例
2019/01/15 Python
Django命名URL和反向解析URL实现解析
2019/08/09 Python
python sitk.show()与imageJ结合使用常见的问题
2020/04/20 Python
pandas数据选取：df[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]
2020/04/24 Python
基于 Python 实践感知器分类算法
2021/01/07 Python
Python日志打印里logging.getLogger源码分析详解
2021/01/17 Python
老人祝寿主持词
2014/03/28 职场文书
2015年教研工作总结
2015/05/23 职场文书
2015年小学辅导员工作总结
2015/05/27 职场文书
人民的好儿女观后感
2015/06/18 职场文书
2015教师个人师德工作总结
2015/10/23 职场文书
MySQL连接查询你真的学会了吗？
2021/06/02 MySQL