cookies应对python反爬虫知识点详解


Posted in Python onNovember 25, 2020

在保持合理的数据采集上,使用python爬虫也并不是一件坏事情,因为在信息的交流上加快了流通的频率。今天小编为大家带来了一个稍微复杂一点的应对反爬虫的方法,那就是我们自己构造cookies。在开始正式的构造之前,我们先进行简单的分析如果不构造cookies爬虫时会出现的一些情况,相信这样更能体会出cookies的作用。

网站需要cookies才能正常返回,但是该网站的cookies过期很快,我总不能用浏览器开发者工具获取cookies,然后让程序跑一会儿,每隔几分钟再手动获取cookies,再让程序继续跑吧。如果反复这样工作,那么写爬虫也就没意义了。便开始对cookies进行分析。

从浏览器的开发者工具获取到的cookies大约有10个字段,经过反复测试,能让网站正常返回的只需要两个字段,分别为__jsluid_h=011a522dbxxxxxxxxc1ce59d336e5e60和__jsl_clearance=1581880640.794|0|trTB4c6b%2BZpvxxxxxxxx8YqCOOo%3D (中间打码处理)。

 经过测试,如果请求的时候不自己构造cookies,默认会返回__jsluid_h :

cookies应对python反爬虫知识点详解

先尝试了将那段js脚本保存下来,包装成一个html文件打开,发现浏览器不停的刷新,也并没起什么作用。那就分析一下js脚本,原来的代码是单行的,自己整理一下并加了一些变量名和log,大概是这么个样子: 

cookies应对python反爬虫知识点详解

将第16行的变量cmd打印出来看看,发现是另一段类似的脚本:

cookies应对python反爬虫知识点详解

可以看到第二段脚本已经开始设置cookies的__jsl_clearence 字段了。这些显然就是混淆后的js脚本,但是分析到这里也就大概弄明白了从发送请求到网站返回是怎么回事。之所以在本地跑这段代码会不断刷新,是因为第二行的setTimeout会让其在1.5秒后重新请求,但是我们本地没有服务处理请求让其停止,所以会不断的刷新。

而第一段脚本当中,变量y是完整的js代码 ,代码中的变量名和关键字被进行编码了,变量x存储的是用来替换的变量名和关键字,后面是解码函数。所以现在的问题变成了获取第一段脚本当中的cmd代码,执行后再获取第二段代码的document.cookie的内容即可。

可是对于python和js的交互我完全没接触过,尝试了PyExecJS和Js2Py,都没办法正常执行第一段脚本。无奈之下,我用python复现了第一段脚本,然后用Js2Py获取了cookie。在请求一次过后,构造cookies,再请求一次,就可以了:

def test():
  url = REQUEST_URL
  # url = 'https://www.baidu.com'
  request_header = get_header()
  html = requests.get(url, headers=request_header)
  print(html)
  jscode = html.text
  # print(jscode)
  # tryjs.get_cookies()为复现的js代码,以及用Js2Py获取cookies的代码
  request_cookies = try_js.get_cookies(jscode)
  request_cookies += ';__jsluid_h=' + html.cookies['__jsluid_h']
  request_header['Cookie'] = request_cookies
  print(request_header)
  html = requests.get(url, headers=request_header, timeout=5)
  print('new connection')
  print(html)
  print(html.text)

在经历重重的分析试验后,我们终于得出以上的代码成功实现了构造cookies。相信经过本篇的学习,小伙伴们又多了一种解决爬虫阻拦获取数据的cookies办法了,赶快行动起来吧。

到此这篇关于cookies应对python反爬虫知识点详解的文章就介绍到这了,更多相关如何构造cookies应对python反爬虫内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python简单网络编程示例【客户端与服务端】
May 26 Python
Python语言实现将图片转化为html页面
Dec 06 Python
Python 找到列表中满足某些条件的元素方法
Jun 26 Python
flask中的wtforms使用方法
Jul 21 Python
python中scikit-learn机器代码实例
Aug 05 Python
对python中词典的values值的修改或新增KEY详解
Jan 20 Python
使用python itchat包爬取微信好友头像形成矩形头像集的方法
Feb 21 Python
python实现手机销售管理系统
Mar 19 Python
python在OpenCV里实现投影变换效果
Aug 30 Python
Python3 把一个列表按指定数目分成多个列表的方式
Dec 25 Python
关于Theano和Tensorflow多GPU使用问题
Jun 19 Python
使用Python操作MySQL的小技巧
Sep 10 Python
Python基于unittest实现测试用例执行
Nov 25 #Python
python反爬虫方法的优缺点分析
Nov 25 #Python
Pytest测试框架基本使用方法详解
Nov 25 #Python
python实现企业微信定时发送文本消息的实例代码
Nov 25 #Python
Python json解析库jsonpath原理及使用示例
Nov 25 #Python
搭建pypi私有仓库实现过程详解
Nov 25 #Python
Python代码覆盖率统计工具coverage.py用法详解
Nov 25 #Python
You might like
手把手教你使用DedeCms的采集的图文教程
2007/03/11 PHP
PHP 引用文件技巧
2010/03/02 PHP
php报表之jpgraph柱状图实例代码
2011/08/22 PHP
PHPExcel读取Excel文件的实现代码
2011/12/06 PHP
PHP Beanstalkd消息队列的安装与使用方法实例详解
2020/02/21 PHP
SWFObject 2.1以上版本语法介绍
2010/07/10 Javascript
jQuery学习笔记之 Ajax操作篇(一) - 数据加载
2014/06/23 Javascript
分享一个自己动手写的jQuery分页插件
2014/08/28 Javascript
JavaScript中的函数模式详解
2015/02/11 Javascript
javascript中substring()、substr()、slice()的区别
2015/08/30 Javascript
bootstrap和jQuery.Gantt的css冲突 如何解决
2016/05/29 Javascript
javascript基础知识
2016/06/07 Javascript
bootstrap按钮插件(Button)使用方法解析
2017/01/13 Javascript
基于DOM节点删除之empty和remove的区别(详解)
2017/09/11 Javascript
微信小程序用户自定义模版用法实例分析
2017/11/28 Javascript
Vue中的基础过渡动画及实现原理解析
2018/12/04 Javascript
JavaScript canvas实现雪花随机动态飘落
2020/02/08 Javascript
vue实现移动端项目多行文本溢出省略
2020/07/29 Javascript
浅谈vant组件Picker 选择器选单选问题
2020/11/04 Javascript
python写的一个文本编辑器
2014/01/23 Python
centos系统升级python 2.7.3
2014/07/03 Python
Python高级用法总结
2018/05/26 Python
python中类的属性和方法介绍
2018/11/27 Python
Python pygame绘制文字制作滚动文字过程解析
2019/12/12 Python
Python使用pymysql模块操作mysql增删改查实例分析
2019/12/19 Python
python已协程方式处理任务实现过程
2019/12/27 Python
Node.js 和 Python之间该选择哪个?
2020/08/05 Python
python使用dlib进行人脸检测和关键点的示例
2020/12/05 Python
linux centos 7.x 安装 python3.x 替换 python2.x的过程解析
2020/12/14 Python
印尼最大的网上书店:Gramedia.com
2018/09/13 全球购物
大三毕业自我鉴定
2014/01/15 职场文书
降消项目实施方案
2014/03/30 职场文书
2015年维修电工工作总结
2015/04/25 职场文书
消防安全培训工作总结
2015/10/23 职场文书
2016学习医德医风心得体会
2016/01/25 职场文书
Apache Hudi 加速传统的批处理模式
2022/04/24 Servers