nginx 防盗链防爬虫配置详解


Posted in Servers onMarch 31, 2021

 新建配置配置文件 (例如进入到nginx安装目录下的conf目录,创建: agent_deny.conf)

禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; }

禁止指定UA及UA为空的访问

#forbidden Scrapy
if ($http_user_agent ~* (Scrapy|Curl|HttpClient))
{
  return 403;
}

#forbidden UA
if ($http_user_agent ~ "Bytespider|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" )
{
  return 403;
}

#forbidden not GET|HEAD|POST method access
if ($request_method !~ ^(GET|HEAD|POST)$)
{
  return 403;
}

然后,在网站相关配置中的 server段插入如下代码: include agent_deny.conf;

重启nginx:

/data/nginx/sbin/nginx -s reload

测试 使用curl -A 模拟抓取即可,比如:

curl -I -A 'YYSpider' <<www.xxx.con>>

结果

[root@11 conf]# curl -I -A 'YYSpider' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:35:21 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive

模拟UA为空的抓取:

curl -I -A' ' <<www.xxx.cn>>

结果

[root@11 conf]# curl -I -A' ' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:06 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive

模拟百度蜘蛛的抓取:

curl -I -A 'Baiduspider' <<<www.xxx.cn>>>

[root@11 conf]# curl -I -A 'Baiduspider' www.xxx.cn
HTTP/1.1 200 OK
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:47 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Fri, 12 Apr 2019 13:49:36 GMT
Connection: keep-alive
ETag: "5cb09770-264"
Accept-Ranges: bytes

UA类型

FeedDemon       内容采集
BOT/0.1 (BOT for JCE) sql注入
CrawlDaddy      sql注入
Java         内容采集
Jullo         内容采集
Feedly        内容采集
UniversalFeedParser  内容采集
ApacheBench      cc攻击器
Swiftbot       无用爬虫
YandexBot       无用爬虫
AhrefsBot       无用爬虫
YisouSpider      无用爬虫(已被UC神马搜索收购,此蜘蛛可以放开!)
jikeSpider      无用爬虫
MJ12bot        无用爬虫
ZmEu phpmyadmin    漏洞扫描
WinHttp        采集cc攻击
EasouSpider      无用爬虫
HttpClient      tcp攻击
Microsoft URL Control 扫描
YYSpider       无用爬虫
jaunty        wordpress爆破扫描器
oBot         无用爬虫
Python-urllib     内容采集
Indy Library     扫描
FlightDeckReports Bot 无用爬虫
Linguee Bot      无用爬虫

nginx 防盗链配置

背景:防止第三方引用链接访问我们的图片,消耗服务器资源和网络流量,我们可以在服务器上做防盗链限制。
实现防盗链的方式有两种:refer方式和签名方式。

refer方式实现防盗链

工作模块:ngx_http_referer_module。

作用变量:$invalid_referer,全局变量。

配置域:server, location

配置:

server {
  listen 80;
  server_name www.imcati.com refer-test.imcati.com;
  root /usr/share/nginx/html;
  location ~*\.(gif|jpg|jpeg|png|bmp|swf)$ {
    valid_referers none blocked www.imcati.com;
    if ($invalid_referer) {
      return 403;
      }
   }
  }
  • valid_referers: 指定资源访问是通过以下几种方式为合法,即白名单。 vaild_referers 有效的引用连接,如下,否则就进入$invaild_refere,返回403 forbiden。
  • none:允许缺失的头部访问。
  • blocked:允许referer没有对应值的请求。
  • server_names:若referer站点域名与server_name中本机配的域名一样允许访问。

到此这篇关于nginx 防盗链防爬虫配置详解的文章就介绍到这了,更多相关nginx 防盗链防爬虫配置内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
Nginx安装完成没有生成sbin目录的解决方法
Mar 31 Servers
Nginx+Tomcat负载均衡集群的实现示例
Oct 24 Servers
Nginx性能优化之Gzip压缩设置详解(最大程度提高页面打开速度)
Feb 12 Servers
nginx中封禁ip和允许内网ip访问的实现示例
Mar 17 Servers
Nginx图片服务器配置之后图片访问404的问题解决
Mar 21 Servers
Windows server 2012 配置Telnet以及用法详解
Apr 28 Servers
CentOS7安装MySQL8的超级详细教程(无坑!)
Jun 10 Servers
Linux中sftp常用命令整理
Jun 28 Servers
win7配置本地ftp服务器的图文教程
Aug 05 Servers
Zabbix6通过ODBC方式监控Oracle 19C的详细过程
Sep 23 Servers
CentOS7设置ssh服务以及端口修改方式
Dec 24 Servers
Shell中的单中括号和双中括号的用法详解
Dec 24 Servers
Nginx服务器如何设置url链接
nginx搭建图片服务器的过程详解(root和alias的区别)
Mar 31 #Servers
Nginx代理同域名前后端分离项目的完整步骤
Mar 31 #Servers
Nginx+SpringBoot实现负载均衡的示例
win10安装配置nginx的过程
Filebeat 采集 Nginx 日志的方法
如何利用map实现Nginx允许多个域名跨域
Mar 31 #Servers
You might like
PHP Directory 函数的详解
2013/03/07 PHP
php 二维数组快速排序算法的实现代码
2017/10/17 PHP
显示、隐藏密码
2006/07/01 Javascript
读jQuery之十一 添加事件核心方法
2011/07/31 Javascript
jquery读取xml文件实现省市县三级联动的方法
2015/05/29 Javascript
学习使用jquery iScroll.js移动端滚动条插件
2020/03/24 Javascript
javascript实现QQ空间相册展示源码
2017/12/12 Javascript
快速了解vue-cli 3.0 新特性
2018/02/28 Javascript
express默认日志组件morgan的方法
2018/04/05 Javascript
详解vue-router 命名路由和命名视图
2018/06/01 Javascript
Bootstrap table表格初始化表格数据的方法
2018/07/25 Javascript
Node.js 使用axios读写influxDB的方法示例
2018/10/26 Javascript
Angular请求防抖处理第一次请求失效问题
2019/05/17 Javascript
jQuery实现中奖播报功能(让文本滚动起来) 简单设置数值即可
2020/03/20 jQuery
详解JSON.stringify()的5个秘密特性
2020/05/26 Javascript
python操作mongodb根据_id查询数据的实现方法
2015/05/20 Python
Python使用numpy实现BP神经网络
2018/03/10 Python
Python中利用xpath解析HTML的方法
2018/05/14 Python
django项目搭建与Session使用详解
2018/10/10 Python
Python concurrent.futures模块使用实例
2019/12/24 Python
基于Python实现视频的人脸融合功能
2020/06/12 Python
Html5 语法与规则简要概述
2014/07/29 HTML / CSS
猫途鹰英国网站:TripAdvisor英国(旅游社区和旅游评论)
2016/08/30 全球购物
波兰运动鞋网上商店:e-Sporting
2018/02/16 全球购物
Lululemon英国官网:加拿大瑜伽服装品牌
2019/01/14 全球购物
英国在线潜水商店:Simply Scuba
2019/03/25 全球购物
Monki官网:斯堪的纳维亚的独立时尚品牌
2020/11/09 全球购物
毕业生教师求职信
2013/10/20 职场文书
有关环保的标语
2014/06/13 职场文书
八项规定个人对照检查材料思想汇报
2014/09/25 职场文书
应聘教师求职信范文
2015/03/20 职场文书
2015年幼儿园中班工作总结
2015/04/25 职场文书
公路施工安全责任书
2015/05/08 职场文书
幼儿园保教工作总结2015
2015/10/15 职场文书
导游词书写之黄山
2019/08/06 职场文书
浅谈Nginx 中的两种限流方式
2021/03/31 Servers