python 常见的反爬虫策略


Posted in Python onSeptember 27, 2020

1、判断请求头来进行反爬

这是很早期的网站进行的反爬方式

User-Agent 用户代理
referer 请求来自哪里
cookie 也可以用来做访问凭证
解决办法:请求头里面添加对应的参数(复制浏览器里面的数据)

2、根据用户行为来进行反爬

请求频率过高,服务器设置规定时间之内的请求阈值
解决办法:降低请求频率或者使用代理(IP代理)
网页中设置一些陷阱(正常用户访问不到但是爬虫可以访问到)
解决办法:分析网页,避开这些特殊陷阱
请求间隔太短,返回相同的数据
解决办法:增加请求间隔

3、js加密

反爬方式中较为难处理的一类。
js加密的原理:服务器响应给浏览器的js文件,可以动态的生成一些加密参数,浏览器会根据js的计算 得到这些参数,在请求中带入进来,如果请求中没有这些参数,那么服务器就任务请求无效。

python 常见的反爬虫策略

4、字体加密

字体反爬,是一种常见的反爬技术,网站采用了自定义的字体文件,在浏览器上正常显示,但是爬虫抓取下来的数据要么就是乱码,要么就是变成其他字符。采用自定义字体文件是CSS3的新特性,熟悉前端的同学可能知道,就是font-face属性。

python 常见的反爬虫策略

5、登录验证码

使用Python爬取网页内容时往往会遇到使用验证码登陆才能访问其网站,不同网站的使用的验证码也不同,在最开始使用简单验证码,识别数字,但是随着反爬的不断发展,慢慢设计出了更多复杂的验证码,比如:内容验证码、滑动验证码、图片拼接验证码等等。
网上有很多打码平台,通过注册账号,调用平台接口,进行验证码的验证。

python 常见的反爬虫策略

6、md5相关知识

MD5,消息摘要算法,一种被广泛使用的密码散列函数,可以产生出一个128位(16字节)的散列值(hash value),用于确保信息传输完整一致。MD5是最常见的摘要算法,速度很快,生成结果是固定的128 bit字节,通常用一个32位的16进制字符串表示。MD5的特点:
1.不可逆:不能从密文推导出明文。
2.不管明文长度为多少,密文的长度都固定。
3.密文之间不会重复。

import hashlib
print(hashlib.md5('python'.encode()).hexdigest())

字符串python加密后的结果:

23eeeb4347bdd26bfc6b7ee9a3b755dd

7、base64

Base64是网络上最常见的用于传输8Bit字节码的编码方式之一,Base64就是一种基于64个可打印字符来表示二进制数据的方法。Base64编码是从二进制到字符的过程,可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性,需要解码后才能阅读。

import base64

#python中base64的加密
print(base64.b64encode('python'.encode()).decode())
#python中base64的解密
print(base64.b64decode('Y2hpbmE='.encode()).decode())

结果:

cHl0aG9u
china

二、验证码验证

自己动手看验证码(古诗词网)

import requests

url = "gushiwen.org"

session = requests.Session()

text = session.get(url).text

# 解析响应,找到验证码的图片地址,
# 下载验证码图片,保存
with open('code.jpg', 'wb')as f:
  f.write('验证码的url地址'.encode())

code = input('验证码是: ')

login_url = "login.com"

data = {
  "username": 'xx',
  "password": 'xx',
  "code": code
}
requests.post(url, data=data)

使用打码平台(图鉴)

新建一个captcha_api.py

import json
import requests
import base64
from io import BytesIO
from PIL import Image
from sys import version_info


def base64_api(uname, pwd, img):
  img = img.convert('RGB')
  buffered = BytesIO()
  img.save(buffered, format="JPEG")
  if version_info.major >= 3:
    b64 = str(base64.b64encode(buffered.getvalue()), encoding='utf-8')
  else:
    b64 = str(base64.b64encode(buffered.getvalue()))
  data = {"username": uname, "password": pwd, "image": b64}
  result = json.loads(requests.post("http://api.ttshitu.com/base64", json=data).text)
  if result['success']:
    return result["data"]["result"]
  else:
    return result["message"]
  return ""


def request_captcha(uname, pwd, img_path):
  img_path = img_path # 待验证的验证码路径
  img = Image.open(img_path)
  result = base64_api(uname, pwd, img)
  # 传入账号 密码 和图片
  print(result)

新建use_code.py,调用接口

img_path = '图片路径'

from captcha_api import request_captcha

ret = request_captcha("账号", "密码", img_path)

以上就是python 常见的反爬虫策略的详细内容,更多关于python反爬虫的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python中用memcached来减少数据库查询次数的教程
Apr 07 Python
python实现文本界面网络聊天室
Dec 12 Python
在Python 中实现图片加框和加字的方法
Jan 26 Python
对Python的交互模式和直接运行.py文件的区别详解
Jun 29 Python
python匿名函数用法实例分析
Aug 03 Python
Python中os模块功能与用法详解
Feb 26 Python
使用Django xadmin 实现修改时间选择器为不可输入状态
Mar 30 Python
Python decorator拦截器代码实例解析
Apr 04 Python
Python模块zipfile原理及使用方法详解
Aug 04 Python
matplotlib实现数据实时刷新的示例代码
Jan 05 Python
Python控制台输出俄罗斯方块移动和旋转功能
Apr 18 Python
Python实现简单得递归下降Parser
May 02 Python
python 5个实用的技巧
Sep 27 #Python
Python日志器使用方法及原理解析
Sep 27 #Python
python 爬取免费简历模板网站的示例
Sep 27 #Python
python如何提升爬虫效率
Sep 27 #Python
python操作链表的示例代码
Sep 27 #Python
python用tkinter实现一个简易能进行随机点名的界面
Sep 27 #Python
python实现暗通道去雾算法的示例
Sep 27 #Python
You might like
PHP的FTP学习(二)
2006/10/09 PHP
php 文件上传系统手记
2009/10/26 PHP
php Rename 更改文件、文件夹名称
2011/05/24 PHP
PHP goto语句用法实例
2019/08/06 PHP
laravel5.5安装jwt-auth 生成token令牌的示例
2019/10/24 PHP
用php实现分页效果的示例代码
2020/12/10 PHP
javascript学习笔记(五)正则表达式
2011/04/08 Javascript
jquery插件之信息弹出框showInfoDialog(成功/错误/警告/通知/背景遮罩)
2013/01/09 Javascript
基于JavaScript 数据类型之Boolean类型分析介绍
2013/04/19 Javascript
jquery选择器、属性设置用法经验总结
2013/09/08 Javascript
jquery获得keycode的示例代码
2013/12/30 Javascript
jquery取消选择select下拉框示例代码
2014/02/22 Javascript
JavaScript中利用jQuery绑定事件的几种方式小结
2016/03/06 Javascript
JS命令模式例子之菜单程序
2016/10/10 Javascript
你应该知道的几类npm依赖包管理详解
2017/10/06 Javascript
JavaScript实现的贝塞尔曲线算法简单示例
2018/01/30 Javascript
vue vue-Router默认hash模式修改为history需要做的修改详解
2018/09/13 Javascript
jQuery实现的卷帘门滑入滑出效果【案例】
2019/02/18 jQuery
JavaScript实现随机点名器实例详解
2019/05/07 Javascript
jQuery HTML设置内容和属性操作实例分析
2020/05/20 jQuery
[56:21]LGD vs IG 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/19 DOTA
浅谈python内置变量-reversed(seq)
2017/06/21 Python
详解Python数据可视化编程 - 词云生成并保存(jieba+WordCloud)
2019/03/26 Python
扩展Django admin的list_filter()可使用范围方法
2019/08/21 Python
Ubuntu18.04安装 PyCharm并使用 Anaconda 管理的Python环境
2020/04/08 Python
python如何从键盘获取输入实例
2020/06/18 Python
moosejaw旗下的户外商品促销网站:Mountain Steals
2017/02/27 全球购物
加拿大时尚潮流大码女装购物网站:Addition Elle
2018/04/02 全球购物
意大利珠宝店:Luxury Zone
2019/01/05 全球购物
应届生自荐信范文
2014/02/21 职场文书
领导干部查摆“四风”问题自我剖析材料思想汇报
2014/10/05 职场文书
党的群众路线整改落实情况汇报
2014/10/28 职场文书
医院保洁员岗位职责
2015/02/13 职场文书
《平移和旋转》教学反思
2016/02/19 职场文书
浅谈Golang 切片(slice)扩容机制的原理
2021/06/09 Golang
基于Python实现股票收益率分析
2022/04/02 Python