- 360安全卫士2012-07-20论坛元老23620
- 本帖最后由 360安全卫士 于 2012-7-20 19:13 编辑 *
许多站长朋友都遇到过这样一些问题,自己网站本来访问量不大,但WWW/HTTPD/NGINX进程一直居高不下,而统计代码里看不到在线数据,这就是典型的被垃圾蜘蛛量采的信号。
对待这类蜘蛛,我们应该如何应对哩?鉴于国内搜索引擎市场混乱,且行业自律自觉性没有一个完整的条约,导致标准不一,并且有些粗糙加工的蜘蛛伤害力极大,针对一个网站,往死里采数据,对此某位牛人指出,国内蜘蛛就保留百度,其它的就算收录再多也带不来什么流量。刚刚整理了下思路,给大家送一份NGINX批量封禁垃圾蜘蛛的范例:
http{
…
map $http_user_agent $ban {
~Soso 1; #代码格式:~蜘蛛特征码 1(封)/0(不封)
~Sougou 1;
~Jikespider 1;
default 0; #默认不封禁
}
server {
….
location / {
if ( $ban= 1 ) {
return 444;# 去死吧
}
…..
}
}
}
我也AD一下,From http://www2.fen.mu/ui2012/run#blog.html