• 本帖最后由 360安全卫士 于 2012-7-20 19:13 编辑 *

许多站长朋友都遇到过这样一些问题,自己网站本来访问量不大,但WWW/HTTPD/NGINX进程一直居高不下,而统计代码里看不到在线数据,这就是典型的被垃圾蜘蛛量采的信号。

对待这类蜘蛛,我们应该如何应对哩?鉴于国内搜索引擎市场混乱,且行业自律自觉性没有一个完整的条约,导致标准不一,并且有些粗糙加工的蜘蛛伤害力极大,针对一个网站,往死里采数据,对此某位牛人指出,国内蜘蛛就保留百度,其它的就算收录再多也带不来什么流量。刚刚整理了下思路,给大家送一份NGINX批量封禁垃圾蜘蛛的范例:

http{

…

map $http_user_agent $ban {

~Soso 1; #代码格式:~蜘蛛特征码 1(封)/0(不封)

~Sougou 1;

~Jikespider 1;

default 0; #默认不封禁

}

server {

….

location / {

if ( $ban= 1 ) {

return 444;# 去死吧

}

…..

}

}

}

我也AD一下,From http://www2.fen.mu/ui2012/run#blog.html