nginx 防盗链防爬虫配置详解


Posted in Servers onMarch 31, 2021

 新建配置配置文件 (例如进入到nginx安装目录下的conf目录,创建: agent_deny.conf)

禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; }

禁止指定UA及UA为空的访问

#forbidden Scrapy
if ($http_user_agent ~* (Scrapy|Curl|HttpClient))
{
  return 403;
}

#forbidden UA
if ($http_user_agent ~ "Bytespider|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" )
{
  return 403;
}

#forbidden not GET|HEAD|POST method access
if ($request_method !~ ^(GET|HEAD|POST)$)
{
  return 403;
}

然后,在网站相关配置中的 server段插入如下代码: include agent_deny.conf;

重启nginx:

/data/nginx/sbin/nginx -s reload

测试 使用curl -A 模拟抓取即可,比如:

curl -I -A 'YYSpider' <<www.xxx.con>>

结果

[root@11 conf]# curl -I -A 'YYSpider' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:35:21 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive

模拟UA为空的抓取:

curl -I -A' ' <<www.xxx.cn>>

结果

[root@11 conf]# curl -I -A' ' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:06 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive

模拟百度蜘蛛的抓取:

curl -I -A 'Baiduspider' <<<www.xxx.cn>>>

[root@11 conf]# curl -I -A 'Baiduspider' www.xxx.cn
HTTP/1.1 200 OK
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:47 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Fri, 12 Apr 2019 13:49:36 GMT
Connection: keep-alive
ETag: "5cb09770-264"
Accept-Ranges: bytes

UA类型

FeedDemon       内容采集
BOT/0.1 (BOT for JCE) sql注入
CrawlDaddy      sql注入
Java         内容采集
Jullo         内容采集
Feedly        内容采集
UniversalFeedParser  内容采集
ApacheBench      cc攻击器
Swiftbot       无用爬虫
YandexBot       无用爬虫
AhrefsBot       无用爬虫
YisouSpider      无用爬虫(已被UC神马搜索收购,此蜘蛛可以放开!)
jikeSpider      无用爬虫
MJ12bot        无用爬虫
ZmEu phpmyadmin    漏洞扫描
WinHttp        采集cc攻击
EasouSpider      无用爬虫
HttpClient      tcp攻击
Microsoft URL Control 扫描
YYSpider       无用爬虫
jaunty        wordpress爆破扫描器
oBot         无用爬虫
Python-urllib     内容采集
Indy Library     扫描
FlightDeckReports Bot 无用爬虫
Linguee Bot      无用爬虫

nginx 防盗链配置

背景:防止第三方引用链接访问我们的图片,消耗服务器资源和网络流量,我们可以在服务器上做防盗链限制。
实现防盗链的方式有两种:refer方式和签名方式。

refer方式实现防盗链

工作模块:ngx_http_referer_module。

作用变量:$invalid_referer,全局变量。

配置域:server, location

配置:

server {
  listen 80;
  server_name www.imcati.com refer-test.imcati.com;
  root /usr/share/nginx/html;
  location ~*\.(gif|jpg|jpeg|png|bmp|swf)$ {
    valid_referers none blocked www.imcati.com;
    if ($invalid_referer) {
      return 403;
      }
   }
  }
  • valid_referers: 指定资源访问是通过以下几种方式为合法,即白名单。 vaild_referers 有效的引用连接,如下,否则就进入$invaild_refere,返回403 forbiden。
  • none:允许缺失的头部访问。
  • blocked:允许referer没有对应值的请求。
  • server_names:若referer站点域名与server_name中本机配的域名一样允许访问。

到此这篇关于nginx 防盗链防爬虫配置详解的文章就介绍到这了,更多相关nginx 防盗链防爬虫配置内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
nginx 设置多个站跨域
Mar 09 Servers
nginx处理http请求实现过程解析
Mar 31 Servers
Nginx的反向代理实例详解
Mar 31 Servers
win10安装配置nginx的过程
Mar 31 Servers
Nginx服务器如何设置url链接
Mar 31 Servers
Mac环境Nginx配置和访问本地静态资源的实现
Mar 31 Servers
使用Nginx搭载rtmp直播服务器的方法
Oct 16 Servers
Nginx反向代理学习实例教程
Oct 24 Servers
Linux中sftp常用命令整理
Jun 28 Servers
centos环境下nginx高可用集群的搭建指南
Jul 23 Servers
Elasticsearch6.2服务器升配后的bug(避坑指南)
Sep 23 Servers
keepalived + nginx 实现高可用方案
Dec 24 Servers
Nginx服务器如何设置url链接
nginx搭建图片服务器的过程详解(root和alias的区别)
Mar 31 #Servers
Nginx代理同域名前后端分离项目的完整步骤
Mar 31 #Servers
Nginx+SpringBoot实现负载均衡的示例
win10安装配置nginx的过程
Filebeat 采集 Nginx 日志的方法
如何利用map实现Nginx允许多个域名跨域
Mar 31 #Servers
You might like
PHP判断变量是否为0的方法
2014/02/08 PHP
PHP获取数组中重复最多的元素的实现方法
2014/11/11 PHP
php实现用于计算执行时间的类实例
2015/04/18 PHP
简单实现PHP留言板功能
2016/12/21 PHP
jQuery函数map()和each()介绍及异同点分析
2014/11/08 Javascript
浅谈javascript语法和定时函数
2015/05/03 Javascript
详解JavaScript的变量和数据类型
2015/11/27 Javascript
详解支持Angular 2的表格控件
2017/01/19 Javascript
Vuejs入门教程之Vue生命周期,数据,手动挂载,指令,过滤器
2017/04/19 Javascript
浅谈Node.js ORM框架Sequlize之表间关系
2017/07/24 Javascript
vue+swiper实现侧滑菜单效果
2017/12/28 Javascript
小程序实现密码输入框
2020/11/16 Javascript
[01:23:45]DOTA2-DPC中国联赛 正赛 CDEC vs Dragon BO3 第一场 1月22日
2021/03/11 DOTA
状态机的概念和在Python下使用状态机的教程
2015/04/11 Python
Python制作数据导入导出工具
2015/07/31 Python
Python 中 Meta Classes详解
2016/02/13 Python
Python使用Redis实现作业调度系统(超简单)
2016/03/22 Python
wxpython中自定义事件的实现与使用方法分析
2016/07/21 Python
Python 绘图和可视化详细介绍
2017/02/11 Python
python 切换root 执行命令的方法
2019/01/19 Python
Python之指数与E记法的区别详解
2019/11/21 Python
python如何控制进程或者线程的个数
2020/10/16 Python
python实现马丁策略的实例详解
2021/01/15 Python
HTML5 实战PHP之Web页面表单设计
2011/10/09 HTML / CSS
联想加拿大官方网站:Lenovo Canada
2018/04/05 全球购物
实习单位接收函模板
2014/01/10 职场文书
一岗双责责任书
2014/04/15 职场文书
网络优化专员求职信
2014/05/04 职场文书
2014年教师政治学习材料
2014/06/02 职场文书
六查六看六改心得体会
2014/10/14 职场文书
实习工作表现评语
2014/12/31 职场文书
学校清洁工岗位职责
2015/04/15 职场文书
2015年挂职干部工作总结
2015/05/14 职场文书
2016年小学教师政治学习心得体会
2016/01/23 职场文书
如何书写授权委托书?
2019/06/25 职场文书
vscode远程免密登入Linux服务器的配置方法
2022/06/28 Servers