欢迎光临31℃,本博分享:
开源项目/软件/主机/灵修/美文

nginx通过user-agent判断蜘蛛,跳转到指定后端服务器…

nginx通过User-Agent判断是否为蜘蛛访问,如果为蜘蛛,则跳转到后端指定服务器

蜘蛛访问,是通过HTTP返回状态判断网站是否正常,很多人为了方便,直接return一个 403出去,这样对权重有很大的影响,我们可以通过nginx跳转,判断user-agent如果为蜘蛛,直接跳到后端指定服务器,这样则不会影响到当前web环境。。。

ip:

nginx:192.168.3.142

后端蜘蛛服务器:192.168.2.147

修改Nginx配置文件

………….

upstream zhizhu {

server 192.168.2.147;

}

 

server{

location /   {

if ($http_user_agent ~* “Baiduspider|360Spider|bingbot|Googlebot|Sogou web spider”) {    #####判断多个蜘蛛,中间用| 隔开
proxy_pass http://zhizhu;
}

}

………………..

}

 

……….

 

 

 

完成之后,/etc/init.d/nginx reload

 

测试访问

 

# curl -I -A “Baiduspider” http://www.caonima.com
HTTP/1.1 200 OK
Server: nginx/1.6.3
Date: Fri, 08 Jul 2016 07:11:09 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
Set-Cookie2: aiyuke_cookie=8b801b25.5371a8061fc8b; path=/; max-age=31536000
X-Powered-By: PHP/5.4.10
BackendServer: 2.147

 

本文摘自csdn博文 尚未测试有效性

赞(0)
未经允许不得转载:三十一度 » nginx通过user-agent判断蜘蛛,跳转到指定后端服务器…

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址