python 常见的反爬虫策略


Posted in Python onSeptember 27, 2020

1、判断请求头来进行反爬

这是很早期的网站进行的反爬方式

User-Agent 用户代理
referer 请求来自哪里
cookie 也可以用来做访问凭证
解决办法:请求头里面添加对应的参数(复制浏览器里面的数据)

2、根据用户行为来进行反爬

请求频率过高,服务器设置规定时间之内的请求阈值
解决办法:降低请求频率或者使用代理(IP代理)
网页中设置一些陷阱(正常用户访问不到但是爬虫可以访问到)
解决办法:分析网页,避开这些特殊陷阱
请求间隔太短,返回相同的数据
解决办法:增加请求间隔

3、js加密

反爬方式中较为难处理的一类。
js加密的原理:服务器响应给浏览器的js文件,可以动态的生成一些加密参数,浏览器会根据js的计算 得到这些参数,在请求中带入进来,如果请求中没有这些参数,那么服务器就任务请求无效。

python 常见的反爬虫策略

4、字体加密

字体反爬,是一种常见的反爬技术,网站采用了自定义的字体文件,在浏览器上正常显示,但是爬虫抓取下来的数据要么就是乱码,要么就是变成其他字符。采用自定义字体文件是CSS3的新特性,熟悉前端的同学可能知道,就是font-face属性。

python 常见的反爬虫策略

5、登录验证码

使用Python爬取网页内容时往往会遇到使用验证码登陆才能访问其网站,不同网站的使用的验证码也不同,在最开始使用简单验证码,识别数字,但是随着反爬的不断发展,慢慢设计出了更多复杂的验证码,比如:内容验证码、滑动验证码、图片拼接验证码等等。
网上有很多打码平台,通过注册账号,调用平台接口,进行验证码的验证。

python 常见的反爬虫策略

6、md5相关知识

MD5,消息摘要算法,一种被广泛使用的密码散列函数,可以产生出一个128位(16字节)的散列值(hash value),用于确保信息传输完整一致。MD5是最常见的摘要算法,速度很快,生成结果是固定的128 bit字节,通常用一个32位的16进制字符串表示。MD5的特点:
1.不可逆:不能从密文推导出明文。
2.不管明文长度为多少,密文的长度都固定。
3.密文之间不会重复。

import hashlib
print(hashlib.md5('python'.encode()).hexdigest())

字符串python加密后的结果:

23eeeb4347bdd26bfc6b7ee9a3b755dd

7、base64

Base64是网络上最常见的用于传输8Bit字节码的编码方式之一,Base64就是一种基于64个可打印字符来表示二进制数据的方法。Base64编码是从二进制到字符的过程,可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性,需要解码后才能阅读。

import base64

#python中base64的加密
print(base64.b64encode('python'.encode()).decode())
#python中base64的解密
print(base64.b64decode('Y2hpbmE='.encode()).decode())

结果:

cHl0aG9u
china

二、验证码验证

自己动手看验证码(古诗词网)

import requests

url = "gushiwen.org"

session = requests.Session()

text = session.get(url).text

# 解析响应,找到验证码的图片地址,
# 下载验证码图片,保存
with open('code.jpg', 'wb')as f:
  f.write('验证码的url地址'.encode())

code = input('验证码是: ')

login_url = "login.com"

data = {
  "username": 'xx',
  "password": 'xx',
  "code": code
}
requests.post(url, data=data)

使用打码平台(图鉴)

新建一个captcha_api.py

import json
import requests
import base64
from io import BytesIO
from PIL import Image
from sys import version_info


def base64_api(uname, pwd, img):
  img = img.convert('RGB')
  buffered = BytesIO()
  img.save(buffered, format="JPEG")
  if version_info.major >= 3:
    b64 = str(base64.b64encode(buffered.getvalue()), encoding='utf-8')
  else:
    b64 = str(base64.b64encode(buffered.getvalue()))
  data = {"username": uname, "password": pwd, "image": b64}
  result = json.loads(requests.post("http://api.ttshitu.com/base64", json=data).text)
  if result['success']:
    return result["data"]["result"]
  else:
    return result["message"]
  return ""


def request_captcha(uname, pwd, img_path):
  img_path = img_path # 待验证的验证码路径
  img = Image.open(img_path)
  result = base64_api(uname, pwd, img)
  # 传入账号 密码 和图片
  print(result)

新建use_code.py,调用接口

img_path = '图片路径'

from captcha_api import request_captcha

ret = request_captcha("账号", "密码", img_path)

以上就是python 常见的反爬虫策略的详细内容,更多关于python反爬虫的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
使用Python下载Bing图片(代码)
Nov 07 Python
mac下pycharm设置python版本的图文教程
Jun 13 Python
python发送告警邮件脚本
Sep 17 Python
解决pycharm运行出错,代码正确结果不显示的问题
Nov 30 Python
python在回调函数中获取返回值的方法
Feb 22 Python
Python3内置模块pprint让打印比print更美观详解
Jun 02 Python
Django异步任务线程池实现原理
Dec 17 Python
TensorFlow绘制loss/accuracy曲线的实例
Jan 21 Python
Python文件时间操作步骤代码详解
Apr 13 Python
Pycharm打开已有项目配置python环境的方法
Jul 03 Python
Python-typing: 类型标注与支持 Any类型详解
May 10 Python
Pytorch中Softmax和LogSoftmax的使用详解
Jun 05 Python
python 5个实用的技巧
Sep 27 #Python
Python日志器使用方法及原理解析
Sep 27 #Python
python 爬取免费简历模板网站的示例
Sep 27 #Python
python如何提升爬虫效率
Sep 27 #Python
python操作链表的示例代码
Sep 27 #Python
python用tkinter实现一个简易能进行随机点名的界面
Sep 27 #Python
python实现暗通道去雾算法的示例
Sep 27 #Python
You might like
php实现单链表的实例代码
2013/03/22 PHP
PHP输出缓冲控制Output Control系列函数详解
2015/07/02 PHP
PHP静态成员变量
2017/02/14 PHP
php出租房数据管理及搜索页面
2017/05/23 PHP
javascript 复杂的嵌套环境中输出单引号和双引号
2009/05/26 Javascript
Javascript 代码也可以变得优美的实现方法
2009/06/22 Javascript
可选择和输入的下拉列表框示例
2013/11/05 Javascript
js实现图片放大和拖拽特效代码分享
2015/09/05 Javascript
Javascript 字符串模板的简单实现
2016/02/13 Javascript
遍历json 对象的属性并且动态添加属性的实现
2016/12/02 Javascript
简单实现bootstrap导航效果
2017/02/07 Javascript
JS简单判断字符在另一个字符串中出现次数的2种常用方法
2017/04/20 Javascript
详解Angular的8个主要构造块
2017/06/20 Javascript
AngularJS实现单一页面内设置跳转路由的方法
2017/06/28 Javascript
bootstrap-table.js扩展分页工具栏(增加跳转到xx页)功能
2017/12/28 Javascript
利用adb shell和node.js实现抖音自动抢红包功能(推荐)
2018/02/22 Javascript
JS实现常见的查找、排序、去重算法示例
2018/05/21 Javascript
js使用swiper实现层叠轮播效果实例代码
2018/12/12 Javascript
Vue.js实现tab切换效果
2019/07/24 Javascript
vue 源码解析之虚拟Dom-render
2019/08/26 Javascript
微信小程序 (地址选择1)--选取搜索地点并显示效果
2019/12/17 Javascript
使用vue实现通过变量动态拼接url
2020/07/22 Javascript
JavaScript数组常用的增删改查与其他属性详解
2020/10/13 Javascript
pandas去除重复列的实现方法
2019/01/29 Python
解决Django Static内容不能加载显示的问题
2019/07/28 Python
python图片二值化提高识别率代码实例
2019/08/24 Python
为什么说Python可以实现所有的算法
2019/10/04 Python
使用pygame编写Flappy bird小游戏
2020/03/14 Python
Python制作一个仿QQ办公版的图形登录界面
2020/09/22 Python
Python包资源下载路径报404解决方案
2020/11/05 Python
SIDESTEP荷兰:在线购买鞋子
2019/11/18 全球购物
文明家庭先进事迹材料
2014/05/14 职场文书
道歉短信大全
2015/05/12 职场文书
2016年小学生迎国庆广播稿
2015/12/18 职场文书
趣味运动会口号
2015/12/24 职场文书
Java实现聊天机器人完善版
2021/07/04 Java/Android